#python #tensorflow #tensorboard #hyperparameters
#python #tensorflow #tensorboard #гиперпараметры
Вопрос:
В настоящее время я использую HParams для запуска сеанса оптимизации гиперпараметров поиска по сетке, который работает нормально и выводит журналы в мой плагин tensorboard HParams, и я могу видеть различные прогоны и представление параллельных координат. Код структурирован следующим образом, хотя, возможно, нет необходимости просматривать его для этого вопроса:
def hparam_wrap(args, n_classes, train_dataset, val_dataset, tokenizer):
log_date_subfolder = time.strftime("%Y%m%d-%H%M%S")
hparams_dict={
'HP_EMBEDDING_NODES': hp.HParam('embedding_nodes', hp.Discrete([200,300])),
'HP_LSTM_NODES': hp.HParam('lstm_nodes', hp.Discrete([200,300])),
'HP_TIMEDIST_NODES': hp.HParam('timedist_nodes', hp.Discrete([200,300])),
'HP_NUM_DENSE_LAYERS': hp.HParam('num_dense_layers', hp.Discrete([3,4, 5])),
'HP_DENSE_NODES': hp.HParam('dense_nodes', hp.Discrete([300,400, 500])),
'HP_LEARNING_RATE': hp.HParam('learning_rate', hp.Discrete([0.001, 0.0001, 0.00001])),
'HP_DROPOUT': hp.HParam('dropout', hp.Discrete([0.3, 0.4,0.5, 0.6])),
'HP_BATCH_SIZE': hp.HParam('batch_size', hp.Discrete([96]))
}
session_num = 0
for en in hparams_dict['HP_EMBEDDING_NODES'].domain.values:
for ln in hparams_dict['HP_LSTM_NODES'].domain.values:
for td in hparams_dict['HP_TIMEDIST_NODES'].domain.values:
for dl in hparams_dict['HP_NUM_DENSE_LAYERS'].domain.values:
for dn in hparams_dict['HP_DENSE_NODES'].domain.values:
for lr in hparams_dict['HP_LEARNING_RATE'].domain.values:
for do in hparams_dict['HP_DROPOUT'].domain.values:
for bs in hparams_dict['HP_BATCH_SIZE'].domain.values:
hparams ={
'HP_NUM_DENSE_LAYERS': dl,
'HP_LEARNING_RATE': lr,
'HP_DROPOUT': do,
'HP_DENSE_NODES': dn,
'HP_BATCH_SIZE': bs,
'HP_EMBEDDING_NODES': en,
'HP_LSTM_NODES': ln,
'HP_TIMEDIST_NODES': td
}
run_name = "run-%d" % session_num
print('--- Starting trial: %s' % run_name)
print({h: hparams[h] for h in hparams})
log_dir = os.path.join('s3://sn-classification', args.type, 'Logs', args.country,
args.subfolder, 'HParams', log_date_subfolder)
run_hparam(log_dir, hparams, hparams_dict, args, n_classes, train_dataset,
val_dataset, tokenizer)
session_num = 1
def run_hparam(log_dir, hparams, hparams_dict, args, n_classes, train_dataset, val_dataset, tokenizer):
with tf.summary.create_file_writer(log_dir).as_default():
hp.hparams_config(
hparams=list(hparams_dict.values()),
metrics=[hp.Metric('val_top_k_categorical_accuracy', display_name='TopK_Val_Accuracy'),hp.Metric('val_loss', display_name='val_loss')]
)
# hp.hparams(hparams) # record the values used in this trial
hp.hparams({hparams_dict[h]: hparams[h] for h in hparams_dict.keys()})
history = train(args,n_classes,hparams,train_dataset, val_dataset, tokenizer)
tf.summary.scalar('val_top_k_categorical_accuracy', history['val_top_k_categorical_accuracy'][-1], step=1)
tf.summary.scalar('val_loss', history['val_loss'][-1], step=1)
Я много погуглил, но все еще не уверен, как реализовать более эффективный сеанс оптимизации, такой как байесовская оптимизация, чтобы быстрее найти оптимальную модель. Все, что я хочу знать, это — возможно ли выполнить байесовскую оптимизацию внутри HParams, или мне нужно использовать другой пакет, такой как веса и смещения? Если это возможно, любой совет о том, где найти пример такой реализации, был бы очень полезен.
Ответ №1:
Это давно открытый запрос функции, и, к сожалению, в настоящее время он все еще не реализован в HPARAMS
разделе, но Keras-tuner
позволит вам регистрировать результаты каждого запуска. Кодирование значений гиперпараметров в эти имена каталогов может быть быстрым и грязным обходным путем. В интересах будущих читателей я предоставил руководство по использованию TensorBoard для байесовской оптимизации в конце этого ответа.
Я мог бы добавить, что визуализация TensorBoard полезна для использования сетки или случайного поиска для информирования разработчика о ручной настройке интуиции, но поскольку байесовская оптимизация — это автономный оптимизатор черного ящика, вы должны быть в состоянии позволить ему работать без того, чтобы на саму оптимизацию влияло отсутствие визуализаций — хотя я согласен, что это все равно было бы хорошей функцией.
Чтобы реализовать байесовскую оптимизацию в TensorFlow и регистрировать потери при каждом запуске, я предоставляю следующее для будущих читателей:
Сначала определите объект с гиперпараметрами hp
.
from kerastuner.engine.hyperparameters import HyperParameters
hp = HyperParameters()
Напишите model_builder
функцию с аргументом hp
, включающую гиперпараметры в модель с использованием hp.get('name')
. Определите Keras-tuner BayesianOptimization
-тюнер.
import kerastuner as kt
tuner = kt.BayesianOptimization(model_builder,
hyperparameters = hp,
max_trials = 20,
objective = 'val_loss')
Включите tf.keras.callbacks.TensorBoard(cb_dir)
в свои обратные вызовы для регистрации графиков потерь при каждом запуске BaysianOptimiser в каталоге cb_dir
. Сюда входят скалярные графики для эпохи, но не для HPARAMS
раздела. Возможно, вы захотите назвать эти файлы запуска так, чтобы в них были перечислены гиперпараметры.
tuner.search(inputs, prices,
validation_split = 0.2,
batch_size = 32,
callbacks = [tf.keras.callbacks.TensorBoard(cb_dir)],
epochs = 30)
Получите доступ к словарям для лучших n
комбинаций гиперпараметров с помощью
ith_best_hp_dict = tuner.get_best_hyperparameters(num_trials = n)[i]