#python #class #scikit-learn #decorator #scikit-optimize
#python #класс #scikit-learn #декоратор #scikit-оптимизировать
Вопрос:
Я использую пакет scikit-learn optimize для настройки гиперпараметров моей модели. По соображениям производительности и удобочитаемости (я обучаю несколько моделей с одним и тем же процессом), я хочу структурировать всю настройку гиперпараметров в классе:
...
import tensorflow as tf
from tensorflow.keras import backend as K
from tensorflow.keras.preprocessing import sequence
from tensorflow.keras.models import Sequential, load_model
from tensorflow.keras.layers import InputLayer, Input, Dense, Embedding, BatchNormalization, Dropout
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.callbacks import TensorBoard, EarlyStopping
from sklearn.preprocessing import MinMaxScaler, OneHotEncoder
from sklearn.model_selection import train_test_split
import skopt
from skopt import gp_minimize
from skopt.space import Real, Categorical, Integer
from skopt.plots import plot_convergence
from skopt.plots import plot_objective, plot_evaluations
from skopt.utils import use_named_args
class hptuning:
def __init__(self, input_df):
self.inp_df = input_df
self.X_train, self.X_test, self.y_train, self.y_test = train_test_split(...)
self.param_space = self.dim_hptuning()
self.best_loss = 10000
def dim_hptuning(self):
dim_layers = Integer(low=0, high=7, name='layers')
dim_nodes = Integer(low=2, high=90, name='num_nodes')
dimensions = [dim_layers, dim_nodes]
return dimensions
def create_model(self, layers, nodes):
model = Sequential()
for layer in range(layers):
model.add(Dense(nodes))
model.add(Dense(1,activation='sigmoid'))
optimizer = Adam
model.compile(loss='mean_absolute_error',
optimizer=optimizer,
metrics=['mae', 'mse'])
return model
@use_named_args(dimensions=self.param_space)
def fitness(self,nodes, layers):
model = self.create_model(layers=layers, nodes=nodes)
history = model.fit(x=self.X_train.values,y=self.y_train.values,epochs=200,batch_size=200,verbose=0)
loss = history.history['val_loss'][-1]
if loss < self.best_loss:
model.save('model.h5')
self.best_loss = loss
del model
K.clear_session()
return loss
def find_best_model(self):
search_result = gp.minimize(func=self.fitness, dimensions=self.param_space,acq_func='EI',n_calls=10)
return search_result
hptun = hptuning(input_df=df)
search_result = hptun.find_best_model()
print(search_result.fun)
Теперь я получаю проблему, заключающуюся в том, что декоратор @use_named_args не работает в классе так, как он должен быть (пример кода scikit-optimize).Я получаю сообщение об ошибке
Traceback (most recent call last):
File "main.py", line 138, in <module>
class hptuning:
File "main.py", line 220, in hptuning
@use_named_args(dimensions=self.param_space)
NameError: name 'self' is not defined
что, очевидно, связано с неправильным использованием декоратора в этом сценарии.
Вероятно, из-за моего недостаточного понимания функциональности таких декораторов я не могу запустить это. Может ли кто-нибудь помочь мне в этом?
Заранее спасибо всем за поддержку!
Ответ №1:
Проблема self
отсутствия определения не связана с scikit.Учиться. Вы не можете использовать self
для определения декоратора, потому что он определяется только внутри метода, который вы оформляете. Но даже если вы обойдете эту проблему стороной (например, предоставив param_space в качестве глобальной переменной) Я ожидаю, что следующей проблемой будет то, что self
будет передано use_named_args
декоратору, но он ожидает, что будут оптимизированы только аргументы.
Наиболее очевидным решением было бы не использовать декоратор в fitness
методе, а определить оформленную функцию, которая вызывает fitness
метод, внутри find_best_model
метода, вот так:
def find_best_model(self):
@use_named_args(dimensions=self.param_space)
def fitness_wrapper(*args, **kwargs):
return self.fitness(*args, **kwargs)
search_result = gp.minimize(func=fitness_wrapper, dimensions=self.param_space,acq_func='EI',n_calls=10)
return search_result
Комментарии:
1. Большое вам спасибо! Я думаю, что я на шаг ближе, но это решение по-прежнему не работает, я получаю следующую ошибку: ` File «main.py «, строка 166, в find_best_model search_result = gp_minimize(функция=self.fitness, размеры=self.param_space, … Ошибка типа: в fitness() отсутствуют 2 обязательных позиционных аргумента: ‘слои’, ‘узлы’,`Прямо сейчас кажется, что он получает только первый аргумент (скорость обучения). Должен ли я настраивать другую функцию пригодности или даже перемещать ее внутри метода find_best_model ?
2. Сообщение об ошибке, похоже, указывает на то, что вы все еще передаете метод пригодности, а не оформленную функцию-оболочку вокруг метода. Использовать
gp.minimize(func=fitness, ...)
вместоgp.minimize(func=self.fitness, ...)
3. Я изменил имя функции-оболочки на
fitness_wrapper
, чтобы избежать путаницы. Действительноfitness_wrapper
, это вложенная функция, она определена внутриfind_best_model
, и вы должны передатьfitness_wrapper
ее в качествеfunc
аргументаgp.minimize
.