Блог

Я пытаюсь настроить гиперпараметры моей полностью подключенной модели глубокого обучения, используя flags и tuning_run в R, используя пакет keras. Где мне найти фактическое значение флага, используемое при каждом запуске?

Я попытался найти значения гиперпараметров, используемые как в сгенерированном фрейме данных результата, так и в прогонах / папке. Хотя все значения точности, функция потерь и другие метаданные о прогонах присутствуют, гиперпараметры, для которых генерируются эти результаты, не включены (я следовал этому примеру, приведенному здесь:https://tensorflow.rstudio.com/tools/tfruns/articles/tuning.html ). Я вызываю свой tuning_run, как указано ниже

 runs <- tuning_run("test.R", flags = list(dropout1=c(0.5,0.4,0.3),dropout2=c(0.3,0.2),dense_units=c(128,256)),sample=0.3)

  

и моя модель использует такие флаги, как

 model <- keras_model_sequential()
model %>% 
  layer_dense(units = 256, activation = 'relu', input_shape = c(784)) %>% 
  layer_dropout(rate = FLAGS$dropout_1) %>% 
  layer_dense(units = FLAGS$dense_units, activation = 'relu') %>%
  layer_dropout(rate = FLAGS$dropout_2) %>%
  layer_dense(units = 10, activation = 'softmax')
  

Когда я запускаю его, а позже ищу значения флагов, для которых генерируется определенная точность проверки (фрейм данных runs) Это то, что я наблюдаю

 Data frame: 2 x 25 
                    run_dir eval_loss eval_acc metric_loss metric_acc
1 runs/2019-03-29T00-14-10Z    0.1315   0.9794      0.0075     0.9977
2 runs/2019-03-29T00-10-37Z    0.1326   0.9816      0.0096     0.9973
  metric_val_loss metric_val_acc
1          0.1475         0.9794
2          0.1443         0.9794
# ... with 18 more columns:
#   samples, validation_samples, batch_size, epochs, epochs_completed,
#   metrics, model, loss_function, optimizer, learning_rate, script, start,
#   end, completed, output, source_code, context, type
  

Мне интересно, где найти значения флагов, используемые на каждой итерации. Или я делаю что-то не так? Будем признательны за любую помощь. Спасибо!

Я выяснил, в чем была проблема. Флаги также должны быть определены в целевом скрипте, чтобы keras мог сообщить об этом. И именно поэтому он не показывал флаги в результирующем фрейме.

Однажды я добавил эти строки в тест.R это сработало нормально

 FLAGS <- flags(
  flag_numeric('dropout_1', 0.04, 'First dropout'),
  flag_numeric('dropout_2', 0.3, 'Second dropout'),
  flag_integer('dense_units', 128, 'Units in dense layer')
)
  

Здесь обсуждается та же проблема и ее решение: https://github.com/rstudio/tfruns/issues/24