Хранилище озера данных Azure в виде ВНЕШНЕЙ ТАБЛИЦЫ в блоках данных с несколькими ПУТЯМИ?

#azure #azure-databricks

Вопрос:

Я пытаюсь создать внешние таблицы, показанные ниже, Путь к таблице является динамическим, может ли внешняя таблица принимать несколько путей?

 CREATE TABLE tablename
(BusinessDate string,
StoreNumber string)
 USING csv
 OPTIONS ('DELIMITER' '~', 
PATH "/mnt/raw/2021/08/19/store01.txt,/mnt/raw/2021/08/17/store09.txt")
 

Комментарии:

1. Если мой ответ вам полезен, не могли бы вы, пожалуйста, принять его в качестве ответа ? Это может помочь большему числу людей, у которых есть подобная проблема.

Ответ №1:

Вы можете попробовать выполнить следующие действия, чтобы создать таблицу, используя несколько путей из учетной записи ADLS gen2.

Шаг 1: Для демонстрационной цели я создал два примера csv-файлов, которые содержат данные data1.csv файлов сотрудников, содержат три строки и data2.csv содержат две строки.

Шаг 2. Загрузите оба файла в контейнер, указанный data в учетной записи ADLS Gen2.

введите описание изображения здесь

Шаг 3: Создайте таблицу, используя несколько путей из учетной записи ADLS gen2, которая подключена, как показано ниже.

 CREATE TABLE default.employee
(id INT, name STRING, age INT)
USING CSV
LOCATION '/mnt/sampledata/data/*.csv'
 

введите описание изображения здесь