Параметризованное выполнение SQL-скриптов в Delta Lake

#sql #databricks #azure-databricks #azure-data-lake #delta-lake

Вопрос:

У меня есть список сценариев SQL в текстовом файле и дельта-таблице. Мне нужно казнить их одного за другим. Составляются дельта-таблицы. Ранее я выполнял хранимую процедуру с помощью команды Exec в SQL server. Есть какие-нибудь обходные пути для озера дельта в базах данных??

Комментарии:

1. что вы подразумеваете под казнью? где — в ноутбуке, через JDBC/ODBC, что-то еще? что вы будете делать с результатами?

2. Я имею в виду, что я передаю файл txt или таблицу с командами sql, и код выполняет их одну за другой

3. Вам придется либо переписать запросы в txt-файле в записную книжку, либо прочитать txt-файл из записной книжки и выполнить запросы, если txt-файл не статичен, см. Пример здесь

4. Спасибо за вашу помощь, но в приведенном вами примере используется spark sql. Инструкции Update и merge не поддерживаются в spark sql. Я хотел что-то, что делает то же самое с дельта-таблицей.

5. Разве это не то, что ты пытаешься сделать?

Ответ №1:

Вы можете использовать записную книжку Databricks для запуска sql-кода или планирования задания, которое запускает определенную записную книжку. Если вы хотите их параметризовать, вы также можете добавить виджеты в свой ноутбук.