Azure - Как загрузить файл из хранилища файлов Azure Databricks?

#python #azure #keras #databricks #azure-databricks

Вопрос:

Я обучил модель использованию Keras в Azure databricks (notebook). Я хотел бы иметь возможность сохранить эту модель в файле .h5 или .pkl и загрузить его на свой локальный компьютер.

Когда я обучаю модель локально, я использую следующее, чтобы сохранить файл внутри каталога с именем models, но, очевидно, этот путь не существует в Azure.

model.save('models/cnn_w2v.h5')

Я новичок в Azure, поэтому буду признателен за любую помощь

Ответ №1:

Поправьте меня, если я ошибаюсь, вы выполняете эту строку в своем ноутбуке DataBricks:

 model.save('models/cnn_w2v.h5')

Правильно?

Итак, если это так, ваша модель сохраняется, но она хранится в экземпляре Azure, который выполняется позади.

Вам нужно загрузить этот файл в хранилище Azure (просто добавьте код в записную книжку, который это делает).

Позже вы сможете загрузить его на свой локальный компьютер.

1. Я получаю сообщение об ошибке, когда выполняю это в записной книжке Databricks. Я попытался добавить путь к файловому хранилищу, например ‘/dbfs/ FileStore/ tables/cnn_w2v.h5’, но снова получил сообщение об ошибке.

Ответ №2:

Я нашел ответ на свой вопрос выше здесь: как загружать файлы из хранилища файлов Azure databricks

Файлы, хранящиеся в / FileStore, доступны в вашем веб-браузере по адресу https://.cloud.databricks.com/files /. Например, файл, который вы сохранили в /FileStore/my-stuff/my-file.txt доступен по адресу:

«https://.cloud.databricks.com/files/my-stuff/my-file.txt «

Примечание. Если вы используете Community Edition, вам может потребоваться заменить https://community.cloud.databricks.com/files/my-stuff/my-file.txt с https://community.cloud.databricks.com/files/my-stuff/my-file.txt?o=######where число после o= такое же, как и в URL-адресе вашего издания сообщества.

См.: https://docs.databricks.com/user-guide/advanced/filestore.html