Блог

Я пытаюсь выполнить многомерную классификацию с помощью Sktime над набором файлов JSON, организованных в виде экспериментов.

Входные данные представляют собой следующую структуру:

 [
  { v: 431, t: 2, d1: 986000, d2: 434000, X: 0 },
  { v: 77, t: 0, d1: 47000, d2: 613000, X: 0 },
  { v: 58, t: 1, d1: 197000, d2: 47000, X: 0 },
  { v: 77, t: 0, d1: 260000, d2: 213000, X: 0 }
]
  

Метки для классификации задаются в виде фрейма данных с формой (len(files), 1). Ниже приведена моя реализация с шестью файлами. Результирующая форма для X равна (9528, 5) и должна состоять из шести строк, каждая из которых содержит JSON файла:

 import json
import pandas as pd
import numpy as np
from pandas import json_normalize
from sklearn.impute import SimpleImputer
from sklearn.pipeline import Pipeline
from sktime.classification.compose import ColumnEnsembleClassifier
from sktime.classification.compose import TimeSeriesForestClassifier
from sktime.classification.dictionary_based import BOSSEnsemble
# from sktime.classification.shapelet_based import MrSEQLClassifier
from sktime.datasets import load_basic_motions
from sktime.transformers.series_as_features.compose import ColumnConcatenator
from sklearn.model_selection import train_test_split


controls = [
    '_clean_control01.json',
    '_clean_control02.json',
    '_clean_control03.json',
]

exp = [
    '_clean_exp01.json',
    '_clean_exp02.json',
    '_clean_exp03.json',
]

testsets = {
    'control': controls,
    'exp': exp
}

map_experiments = {
    'control': 0,
    'exp': 1
}

normalized_data = {
    'control': [],
    'exp': []
}

experiments = pd.DataFrame()
labels = {'exp': []}

for experiment in testsets:
    files = testsets[experiment]
    arr = normalized_data[experiment]
    for file in files:
        tmp = pd.read_json(file)
        experiments = experiments.append(tmp, ignore_index=True)
        label = map_experiments[experiment]
        labels['exp'].append(label)

labels = pd.DataFrame(labels)

X, y = experiments, labels
X_train, X_test, y_train, y_test = train_test_split(
    X, y, shuffle=False, stratify=None)
print(X_train.shape, y_train.shape, X_test.shape, y_test.shape)
print(X_train.head())
np.unique(y_train)

clf = ColumnEnsembleClassifier(estimators=[
    ("TSF0", TimeSeriesForestClassifier(n_estimators=100), [0]),
    ("BOSSEnsemble3", BOSSEnsemble(max_ensemble_size=5), [3]),
])
clf.fit(X_train, y_train)
print(clf.score(X_test, y_test))
  

У меня возникли проблемы с поиском информации о том, как создавать фреймы данных, где каждая строка представляет список закодированных или некодированных JSON или CSV или других объектов, представляющих временные ряды без метки времени. Я вижу примеры, где JSON кодируется в виде цифровых клавиш, в то время как другие содержат строки. До сих пор я не мог найти ничего, что помогло бы мне создать фрейм данных с этими списками по ряду файлов.

Оказалось, что я искал вложенный ndarray в фрейме данных следующим образом:

     experiments = pd.DataFrame(['exp'])
    for file in files:
        tmp = pd.read_json(file).to_numpy()
        experiments = experiments.append({'exp': tmp}, ignore_index=True)