'databricks configure -token' зависает для ввода

#azure-devops #databricks #azure-databricks #databricks-cli

Вопрос:

Я запускаю следующую задачу в Azure DevOps, она всегда зависает для ввода? Почему моя автоматическая подача bash не работала?

 databricksUrl=https://...
databricksToken=*****

databricks configure --token << EOF
$(databricksUrl)
$(databricksToken)
EOF

Ответ №1:

Для Databricks CLI> 0.11.0 есть два решения:

Генерировать ~/.databricks.cfg непосредственно в форме:

 echo "[DEFAULT]                                                               
host = $url
token = $token" > ~/.databricks.cfg

Используйте новые параметры --host amp; --token-file для указания хоста и токена:

 echo $token > token-file
databricks configure --host $url --token-file token-file
rm -f token-file

Ответ №2:

Попробуйте приведенный ниже встроенный скрипт bash для аутентификации с помощью Azure Databricks без переменных.

 databricks configure --token <<EOF
https://centralus.azuredatabricks.net
dapXXXXXXXXXXXXXXXXXXXXXX467
EOF

Попробуйте приведенный ниже встроенный скрипт bash для аутентификации с помощью Azure Databricks с переменными.

 adburl="https://centralus.azuredatabricks.net"
token=dapXXXXXXXXXXXXXXXXXXXXXXXXX467
databricks configure --token <<EOF
$adburl
$token
EOF

Успешно прошла проверку подлинности с помощью Azure Databricks:

или

Вы можете использовать DevOps для расширения Azure Databricks.

Это расширение предоставляет набор задач для ввода в эксплуатацию сборки, тестирования и развертывания заданий и записных книжек Databricks.

После установки расширения DevOps для Azure Databricks вы можете напрямую использовать CLI Configure Databricks, нажав на Добавить задачи.

1. Если это полезно для вас, не могли бы вы принять это как ответ ? Это может помочь большему количеству людей, у которых есть подобная проблема.

2. первое решение работало без каких-либо проблем, si

Ответ №3:

У меня такая же проблема. В прошлом мой конвейер выпуска работал нормально, и теперь он застрял на этапе аутентификации, хотя никаких изменений внесено не было.

ОБНОВЛЕНИЕ: проблема была вызвана новой версией databricks-cli (0.12.0). Использование версии 0.11.0 решит проблему:

 python -m pip install --upgrade pip setuptools wheel databricks-cli==0.11.0

1. Этот ответ правильный. Та же проблема — то же решение.

2. У меня была такая же проблема, и это решило ее. Спасибо!

3. У меня была эта проблема на моем локальном компьютере. Спасибо!

Ответ №4:

Я боролся с этим несколько дней. Две вещи, которые я видел, это то, что когда у вас есть файл токена (в моем случае Windows %user%/.databrickscfg), и вы выполняете

 databricks configure --host https://centralus.azuredatabricks.net --token-file .databrickscfg

перестановка https://centralus.azuredatabricks.net с вашим фактическим URL-адресом

Он не выдает сообщение об успешном завершении.
Это фактически изменяет содержимое вашего файла-токена. Он заменяет token = dapi …. на token = [ПО УМОЛЧАНИЮ]. Я развертываю свое решение в Azure Batch на удаленных узлах с помощью задачи запуска. Итак, что мне нужно было сделать (используя пакеты приложений), это заархивировать файл .databrickscfg и разрешить пакетную установку его на узлы. Затем запустите

databricks configure —host https://centralus.azuredatabricks.net —token-файл .databrickscfg

затем xcopy / Y файл .databrickscfg из расположения %AZ_BATCH_APP_PACKAGE_% в именованный пользовательский рабочий каталог %USERPROFILE%. Затем выполните любые команды databricks.