Блог

Я хочу назначить веса нескольким моделям и создать единую модель ансамбля. Я хочу использовать свои выходные данные в качестве входных данных для нового алгоритма машинного обучения, и алгоритм выучит правильные веса. но как я могу предоставить вывод нескольких моделей в качестве входных данных для нового алгоритма ML, когда я получаю такой вывод

 preds1=model1.predict_prob(xx)
[[0.28054154 0.35648097 0.32954868 0.03342881]
 [0.20625692 0.30749627 0.37018309 0.11606372]
 [0.28362306 0.33325501 0.34658685 0.03653508]
 ...

 preds2=model2.predict_prob(xx)
[[0.22153498 0.30271243 0.26420254 0.21155006]
 [0.32327647 0.39197589 0.23899729 0.04575035]
 [0.18440374 0.32447016 0.4736297  0.0174964 ]
 ...
 

Как создать один кадр данных из выходных данных этих 2 или более моделей ?

самый простой способ сделать это приведен ниже, но я хочу передать выходные данные другому алгоритму ML для изучения весов.

 model = LogisticRegression()
        model.fit(xx_train, yy_train)
        preds1 = model.predict_proba(xx_test)
     

        model = KNeighborsClassifier(n_neighbors=5, metric='minkowski', p=2 )
        model.fit(xx_train, yy_train)
        preds2 = model.predict_proba(xx_test)
        
        # Each weight is evaluated by calculating the corresponding score
        for i in range(len(weights)):
         final_inner_preds = np.argmax(preds1*weights[i]  preds2*(1-weights[i]), axis=1)
       scores_corr_wts[i] = accuracy_score(yy_test, final_inner_preds)
 

В sklearn вы можете использовать классификатор стекирования. Это должно соответствовать вашим потребностям.

1. Создайте список определений вашей базовой модели

   base_models = [('SVC', LinearSVC(C = 1)),('RF',RandomForestClassifier(n_estimators=500))]

2. Создайте экземпляр своего Мета-ученика

   meta_model = LogisticRegressionCV()

3. Инстанцируемая Модель укладки

   stacking_model = StackingClassifier(estimators=base_models, final_estimator=meta_model, passthrough=True, cv=3)

4. Соответствовать и прогнозировать