#azure #azure-devops #azure-data-factory #azure-databricks
Вопрос:
Я ищу образец шаблона ARM, который может настроить мое хранилище Azure DevOps в хранилища данных Azure. Это поможет мне развернуть свою главную ветвь непосредственно в рабочей области ADB.
Я попытался сделать это вручную на портале, и это работает, но путь репозиции для записных книжек показывает мой идентификатор электронной почты, что не очень хорошо в производстве.
Я хочу настроить с помощью Powershell ИЛИ шаблона ARM при создании баз данных. Та же проблема, с которой я сталкиваюсь и в Azure DataFactory.
Пожалуйста, помогите мне решить эту проблему.
Ответ №1:
На сегодняшний день это невозможно — нет API для создания проверки. Это станет возможным только тогда, когда репозитории Databricks начнут предоставлять соответствующий API для создания проверок репозиториев, а не только API «Обновить проверку», который доступен прямо сейчас.
Если вас интересует проверка, созданная в вашей собственной папке, вы можете просто создать папку внутри репозиториев, назвать ее «Производство», а затем выполнить проверку внутри этой папки (фотографии взяты из моей демонстрации репозиториев с помощью Azure DevOps):
Комментарии:
1. Спасибо, позвольте мне попробовать это
2. Есть ли какие-либо ограничения на развертывание папки /Repos? Я попытался развернуть через Azure Dev ops по пути /Репозитории. Я получаю ошибку в журналах и не развертываю файлы… [команда]C:windowsPython3.7.9x64Scriptsdatabricks.exe рабочая область import_dir -o —профиль AZDO D:ar1aNotebook-DeployDataBricksNotebooks /Репозитории/Базы данных/Записные книжки {«код ошибки»: «DIRECTORY_PROTECTED», «сообщение»: «Папка верхнего уровня может содержать только репозитории»}
3. Команды рабочей области не работают с репозиториями — для репозиториев будет отдельный набор API
4. Привет @AlexOtt, вы не знаете, выпущены ли эти API? Я хочу развернуть в папке репозитория, потому что мне нравится использовать функцию импорта (через команду %run) для cofig и utils. Поэтому я задаюсь вопросом, можем ли мы использовать API репозиториев для развертывания в более высоких средах.
5. Да, API Repos (создание/обновление/удаление) был выпущен два месяца назад. Кроме API для настройки токена Git, который скоро появится
Ответ №2:
Чтобы развернуть записные книжки из главной ветви в другую рабочую область, я бы рекомендовал запустить конвейер развертывания из главной ветви в целевое worskpace databricks. Таким образом, не нужно настраивать репозитории в целевой среде.
- Вы используете репозитории в рабочей области разработки (с адресом электронной почты в пути)
- Вы привязываетесь к ветви, над которой работаете, и в конечном итоге объединяете / PR, чтобы освоить
- После входа в главную ветвь запускается конвейер DevOps, который развертывает ноутбук в целевую рабочую область по нужному пути
Комментарии:
1. Спасибо, я попробую это сделать.
2. Я не могу рассматривать «Развертывание универсального ноутбука» как ЗАДАЧУ. Является ли это частью «DevOps для хранилищ данных Azure» ?
3. Я считаю, что это задача, которую вы должны добавить с рынка. Он был разработан компанией DataThirst.
4. Спасибо за помощь до сих пор. Я установил это и теперь получаю ошибку при попытке развертывания. Что это значит? Я попытался изменить путь и каталоги, но это не копирование какого-либо файла. [команда]C:windowsPython3.7.9x64Scriptsdatabricks.exe рабочая область import_dir -o —профиль AZDO D:ar1aNotebook-DeployDataBricksNotebooks /Репозитории/Базы данных/Записные книжки {«код ошибки»: «DIRECTORY_PROTECTED», «сообщение»: «Папка верхнего уровня может содержать только репозитории»}