Экспорт таблицы данных из dbfs Databricks в базу данных sql azure

#sql #azure #pyspark #databricks

Вопрос:

Я совсем новичок в databricks и ищу разумный способ экспорта таблицы данных из схемы databricks gold в базу данных sql azure. Я использую базы данных как часть группы ресурсов azure, однако я не нахожу данные из баз данных ни в одной из учетных записей хранения, входящих в ту же группу ресурсов. Означает ли это, что is физически хранится в неявной учетной записи хранения databricks/озере данных? Заранее спасибо 🙂

Ответ №1:

Таблицы, которые вы видите в Databricks, могут содержать данные, хранящиеся в файловой системе рабочей области Databricks (DBFS) или где — то снаружи (например, в озере данных, которое может находиться в другой группе ресурсов Azure) — см. Здесь: Базы данных и таблицы Databricks

Для записи данных из базы данных в SQL Azure я бы предложил соединитель Apache Spark для SQL.