Где модели сохраняются по умолчанию?

#google-cloud-ml

#google-cloud-ml

Вопрос:

Я отправил учебное задание в облако с помощью RESTful API и вижу в журналах консоли, что оно успешно завершено. Чтобы развернуть модель и использовать ее для прогнозирования, я сохранил окончательную модель, используя tf.train.Saver().save() (в соответствии с инструкциями).

При локальном запуске я могу найти файлы графиков ( export-* и export-*.meta ) в рабочем каталоге. Однако при запуске в облаке я не знаю, где они заканчиваются. Похоже, что в API нет параметра для указания этого, его нет в корзине с приложением trainer, и я не могу найти никаких временных корзин в облачном хранилище, созданном заданием.

Ответ №1:

При настройке среды Cloud ML вы настраиваете корзину для этой цели. Вы заглядывали туда?

https://cloud.google.com/ml/docs/how-tos/getting-set-up

Редактировать (для записи в будущем): как упоминал Роберт в комментариях, вы захотите передать местоположение вывода в задание в качестве аргумента. Несколько вещей, о которых следует помнить:

  • Используйте уникальное местоположение вывода для каждого задания, чтобы одно задание не мешало выводам другого.

  • Рекомендуется указать родительский выходной путь и использовать его для размещения экспортированной модели в подпути с именем «модель», а также для организации других выходных данных, таких как контрольные точки и сводки, в этом пути. Это упрощает управление всеми выводами.

  • Хотя это и не обязательно, я также предложу размещать обучающий код в подпути packages вывода, что помогает соотносить источник с получаемыми им результатами.

  • Наконец (!), Также имейте в виду, что при использовании настройки гиперпараметров вам нужно будет добавить идентификатор пробной версии в путь вывода для результатов, полученных в результате отдельных запусков.

Комментарии:

1. Я создал корзину и предоставил учетной записи службы, которую я использую, разрешения редактора для самой корзины и установил ее в качестве владельца для всех объектов по умолчанию. После этого я поместил приложение trainer в корзину и выполнил задание. Я не думаю, что это проблема с разрешениями, потому что, если не удалось записать, я должен был получить сообщение об ошибке. Из того, что я могу сказать, нет ничего, что связывало бы корзину с заданием, кроме URI trainer , или я что-то пропустил?

2. Ах, вы правы. Я думаю, вам нужно передать ему путь ‘gs: // bucket / model / export’ в trainingInput — args, затем передать его в tf.train. Saver ()?

3. Спасибо, теперь все работает отлично. Ранее мой путь сохранения по умолчанию был относительным путем, поэтому я предполагаю, что результаты этих запусков попадали на виртуальную машину, на которой выполнялось задание, и были потеряны, когда оно было снесено.