Блог

Главная - Вопросы по программированию - Возможно ли работать локально, обучая модель tensroflow с использованием данных из облачного хранилища Google без их загрузки?

Возможно ли работать локально, обучая модель tensroflow с использованием данных из облачного хранилища Google без их загрузки?

#r #tensorflow #google-cloud-ml

#r #тензорный поток #google-cloud-ml

Вопрос:

Я пытаюсь локально использовать в R модель tensorflow с использованием tfdatasets и CloudML, используя обучающие данные, доступные в облачном хранилище Google, без их загрузки. НАСКОЛЬКО я знаю, пакет «tfdtasets» должен использовать URL-адреса gs: // напрямую с gs_data_dir().

Если я укажу в TSScript.R:

 data_dir <- gs_data_dir(gs://my-gcp-project/data/)

Когда я запускаю cloud_train (TSScript.R) Я получаю сообщение об ошибке:

 Error: 'gs://my-gpc-project/data/train.data.csv' does not exist in current working directory ('/root/.local/lib/python2.7/site-packages/cloudml-model')

Вот мои вопросы:

  1. Возможно ли это каким-то образом, но я допускаю некоторые ошибки в своем скрипте?

  2. Если нет, нужно ли мне установить R в облаке и работать оттуда напрямую?

  3. возможно ли, возможно ли, обучать данные из bigTable без их локальной загрузки?

Спасибо

Комментарии:

1. Привет, просто чтобы уточнить, вы надеетесь: 1) Обучить свою модель локально с данными, размещенными в облаке? или 2) Загружать данные локально, а затем локально обучаться с этими данными?

2. Привет, я имею в виду 1). Спасибо!

Ответ №1:

Для 1) Я думаю, вы, возможно, ищете tf.gfile()https://www.tensorflow.org/api_docs/python/tf/io/gfile/GFile

Пример использования: https://github.com/GoogleCloudPlatform/cloudml-samples/blob/master/census/keras/trainer/model.py#L154

Надеюсь, это поможет!

Для 2) Если вы хотите это сделать, вам следует взглянуть на пользовательские контейнеры. https://cloud.google.com/ml-engine/docs/custom-containers-training

Для 3) Я не знаком с BigTable, но я предполагаю, что вам придется запрашивать нужные вам данные и вручную извлекать их локально. Я не думаю, что TF.gfile поддерживает BigTable только GCS.

Комментарии:

1. Спасибо. Для 1) нет ничего похожего на tf.GFile (насколько я знаю) в R. 2) Да, я мог бы работать, но не вписывается в мою реализацию. Кстати, неясно, стоит ли это того с точки зрения затрат. 3) Да, вы должны загрузить его локально. По этой причине здесь это не имеет смысла. BigQuery / BigTable могут быть слишком дорогими. Это зависит от варианта использования.

2. 1) Да, я ничего не вижу на tensorflow.rstudio.com/tools/tfdatasets/articles / … это позволяет вам читать из GCS. 2/3) Да, это определенно зависит от вашего варианта использования / стоимости