Блог

Я работаю в записной книжке AWS Sagemaker Jupyter. Я установил пакет clearml в AWS Sagemaker в Jupyter. Сервер ClearML был установлен на AWS EC2. Мне нужно хранить артефакты и модели в корзине AWS S3, поэтому я хочу указать учетные данные для S3 в файле clearml.conf. Как я могу изменить файл clearml.conf в экземпляре AWS Sagemaker? похоже, что всем папкам в нем отказано в разрешении. Или, может быть, кто-нибудь может предложить лучший подход.

Отказ от ответственности Я являюсь частью команды ClearML (ранее Trains).

Для установки учетных данных (и clearml-server хостов) вы можете использовать Task.set_credentials . Чтобы указать сегмент S3 в качестве выходных данных для всех артефактов (и отладочных образов, если на то пошло), вы можете просто установить его как files_server .

Например:

 from clearml import Task

Task.set_credentials(api_host='http://clearml-server:8008', web_host='http://clearml-server:8080', files_host='s3://my_bucket/folder/',
key='add_clearml_key_here', secret='add_clearml_key_secret_here')
 

Чтобы передать свои учетные данные S3, просто добавьте ячейку в верхней части записной книжки jupyter и задайте стандартные переменные среды AWS S3:

 import os
os.environ['AWS_ACCESS_KEY_ID'] = 's3_bucket_key_here'
os.environ['AWS_SECRET_ACCESS_KEY'] = 's3_bucket_secret_here'
# optional
os.environ['AWS_DEFAULT_REGION'] = 's3_bucket_region'