Блог

Я пытаюсь применить кластеризацию KMeans к набору данных со значениями временных меток. В наборе данных есть другие столбцы, такие как Id (int), Side (логическое значение), Quarter (int), Half (int). Но я хочу выполнить кластеризацию только с использованием столбца timestamp. Как я могу создать конвейер, используя MLContext для этого?

Набор данных выглядит следующим образом:

 DataSet
{
        public int Contract_Id { get; set; }
        public System.DateTime TimeStamp { get; set; }
        public bool Side { get; set; }
        public int Quarter { get; set; }
        public int Half { get; set; }
}
  

У меня есть утилита, возвращающая набор данных, с которым мне нужно работать, из базы данных SQL. Я использую набор данных для загрузки MLContext, а затем использую функцию Kmeans для создания конвейера, используя столбец TimeStamp в качестве входных данных объекта и ClusterId в качестве имени выходных данных.

 var data = unitOfWork.Repository.GetPastFiveSeconds(); // get past 5 sec data from now

var trainData = mlContext.Data.LoadFromEnumerable(data);

var pipeline = mlContext.Clustering.Trainers.KMeans("TimeStamp", "ClusterId", Convert.ToInt32(Math.Ceiling(  (double)5 / data.Count()   ))); // C# stuff to convert to int :/

var model = pipeline.Fit(trainData);
  

Я хочу получить массив кластеров с точками данных, правильно назначенными кластеру, но я получаю исключение — столбец ClusterId ‘Weight’ не найден

РЕДАКТИРОВАТЬ: Попробовал удалить параметр ClusterId из функции KMeans и присвоить ему значение null и добавил шаг преобразования

 mlContext.Transforms.Conversion.ConvertType("TimeStampFloat", "TimeStamp", DataKind.Single)
.Append(mlContext.Clustering.Trainers.KMeans("TimeStampFloat",null, Convert.ToInt32(Math.Ceiling(  (double)5 / trades.Count()   ))))
  

но теперь я получаю сообщение об ошибке «Несоответствие схемы для столбца объектов ‘TimeStampFloat’: ожидаемый вектор, получено имя параметра R4 r nParameter: inputSchema»

Второй параметр в KMeans, в вашем случае вы передаете «ClusterId», — это название столбца начальных весов.

Похоже, у вас нет свойства ClusterId в вашем типе набора данных, поэтому он не может его найти.

Также третьим параметром является количество кластеров, которые вы ожидаете увидеть в своих данных. Я бы поиграл с этим и попробовал несколько значений, если вы не знаете, чего ожидать.

Итак, попробуйте:

 var pipeline = mlContext.Clustering.Trainers.KMeans("TimeStamp");

  

Вам потребуется некоторая предварительная обработка вашей временной метки, поскольку она является системной.Тип DateTime. KMeans (и большинство ML.NET алгоритмы) будут ожидать типы с плавающей запятой. Добавьте Transforms.Conversion.ConvertType в свой конвейер.

Ответ на редактирование:

Столбец объектов KMeans должен быть вектором значений с плавающей точкой, потому что обычно существует много столбцов объектов, объединенных вместе. Это взлом, но если вы добавите Concatenate в свой конвейер, после Convert и перед KMeans, он должен быть успешным:

 mlContext.Transforms.Conversion.ConvertType("TimeStampFloat", "TimeStamp", DataKind.Single)
.Append(ml.Transforms.Concatenate("TimeStampFloat", new [] {"TimeStampFloat"}))
.Append(mlContext.Clustering.Trainers.KMeans("TimeStampFloat",null, 5))