Блог

Кто-нибудь устанавливает DVC на мини-хранилище?

Я читал документы, но для меня не все ясно.

Какую команду я должен использовать для настройки мини-хранилища с этими входными параметрами:

URL-адрес хранилища: https://minio.mysite.com/minio/bucket-name/ логин: my_login пароль: my_password

Устанавливать

Я обычно использую его как пакет Python, в этом случае вам нужно установить:

 pip install "dvc[s3]"
 

Дистанционная настройка

По умолчанию DVC поддерживает хранилища AWS S3, и они работают нормально.
Также они поддерживают «хранилище, совместимое с S3», но настройка для этого типа пультов дистанционного управления описана правильно. В конкретном случае MinIO у вас есть каталог — корзина на сервере MinIO, где хранятся фактические данные (аналогично ведру AWS), но DVC использует интерфейс командной строки AWS для аутентификации. В случае МинИО вам нужно передать их явно.

Затем следуйте командам для настройки пульта дистанционного управления DVC:

 # setup default remote (change "bucket-name" to your minio backet name)
dvc remote add -d minio s3://bucket-name -f

# add information about storage url (where "https://minio.mysite.com" your url)
dvc remote modify minio endpointurl https://minio.mysite.com

#  add info about login and password
dvc remote modify minio access_key_id my_login
dvc remote modify minio secret_access_key my_password
 

Если вы перемещаетесь со старого пульта дистанционного управления, используйте команду follow для перемещения ваших данных:

Перед установкой (загрузите весь старый удаленный кэш на локальную машину):

 dvc pull -r <old_remote_name> --all-commits --all-tags --all-branches
 

После настройки (загрузите весь кэш на новый пульт дистанционного управления):

 dvc push -r <new_remote_name> --all-commits --all-tags --all-branches