Как динамически получать все табличные данные файлов json в таблице (хранилище данных sql server) с помощью Azure Data Factory (загрузка из ADF в DWH)

#azure-data-factory #azure-data-lake #azure-sql-data-warehouse

#azure-фабрика данных #azure-озеро данных #azure-sql-data-warehouse

Вопрос:

Мне нужно перенести все данные файлов json в таблицу из фабрики данных Azure в хранилище данных sql server. я могу загружать данные в таблицу со статическими значениями (путем указания имен столбцов в наборе данных), но генерировать в динамическом режиме я не могу получить это с помощью фабрики данных Azure.Может ли какая-нибудь помощь в этом решении для динамического доступа к фабрике данных Azure? Заранее большое спасибо.

данные файла json следующим образом:

{ «ТАБЛИЦА»: «TEST_M1», «ДАННЫЕ»: [{ «DFG»: «123456», «ADF»: «SFSDF» }, { «DFG»: «ABADHDD», «ADF»: «GHB» } }

то же самое, как показано ниже, для разных имен ТАБЛИЦ (TEST_M2 …..)

1. вы хотите сказать, что структура json отличается для каждого файла?

2. @ Stephen-Спасибо за ваш ответ. Структура Json будет такой же, но данные будут изменены

3. где хранятся данные json?

4. @Stephen-Спасибо за ваш ответ. Файл json хранится на нашем локальном сервере, и мы получаем к нему доступ через FTP.

Ответ №1:

При выполнении копирования вы можете вызвать сценарий хранимой процедуры в приемнике sql serer. Сценарий хранимой процедуры определяет логику создания динамического значения на основе исходных данных json. Смотрите пример: https://docs.microsoft.com/en-us/azure/data-factory/connector-sql-server#invoking-stored-procedure-for-sql-sink