Блог

Я использую sklearn.ensemble.BaggingClassifier для подгонки 1000 оценок к своим данным. Интересно, можно ли кэшировать .fit() метод этого класса, чтобы выходные .fit() данные метода можно было просто кэшировать после первого запуска скрипта?

Возьмите это в качестве примера:

 import numpy as np
from sklearn.ensemble import BaggingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification

rng = np.random.RandomState(42)
X, y = make_classification(n_samples=1000,n_features=4,n_informative=2,
                           n_redundant=0,random_state=rng,shuffle=False)

# initialize bagging classifier
clf = BaggingClassifier(base_estimator=LogisticRegression(),n_estimators=1000,random_state=rng)
result = clf.fit(X,y).estimators_[0].coef_
 

Редактировать:

Приведенные ниже ответы, по-видимому, дают ответы о том, как кэшировать результаты в процессе подбора, т. Е. При подборе n оценок попробуйте использовать предварительно вычисленные результаты из уже подобранных классификаторов. Вместо этого я ищу способ кэширования всего процесса. Интересно, можно ли было бы использовать sklearn.pipeline.Pipeline для этого? Адаптированный код будет выглядеть следующим образом (буду рад получить обратную связь, если это правильно):

 from sklearn.pipeline import Pipeline
# initialize bagging classifier
clf = BaggingClassifier(base_estimator=LogisticRegression(),n_estimators=1000,random_state=rng)
pipe = Pipeline([('clf',clf)],memory='./cache')
result = pipe.fit(X,y)._final_estimator.estimators_[0].coef_
 

Вы можете использовать warm_start для повторного использования решения предыдущего вызова для подгонки и добавления дополнительных оценок в ансамбль.

С помощью этого решения вы можете вычислять оценки по пакетам и сохранять текущие состояния модели.

Ниже приведен пример warm_start :

 from sklearn.svm import SVC
from sklearn.ensemble import BaggingClassifier
from sklearn.datasets import make_classification

X, y = make_classification(n_samples=100, n_features=4,
                           n_informative=2, n_redundant=0,
                           random_state=0, shuffle=False)

clf = BaggingClassifier(base_estimator=SVC(),
                        n_estimators=10, random_state=0, warm_start=True)

for i in range(5):
    clf.fit(X, y)
    print(f'Iteration {i} score with {clf.n_estimators}: {clf.score(X, y)}')
    clf.n_estimators  = 10
 

Это приведет к следующему:

 Iteration 0 score with 10: 0.92
Iteration 1 score with 20: 0.93
Iteration 2 score with 30: 0.92
Iteration 3 score with 40: 0.92
Iteration 4 score with 50: 0.92