#azure #azure-sql-database #azure-data-factory #azure-data-lake #azure-data-factory-2
#azure #azure-sql-database #azure-data-lake #azure-data-factory
Вопрос:
Тип метаданных, которые мне нужны, включает размеры файлов, количество строк, имена файлов, если файл уже был обработан и т.д. И я хочу захватить поток данных от источника к цели, включая захват данных из Azure data lake и SQL DB.
Я также хочу сохранить эти метаданные в таблицах SQL в качестве контрольной таблицы и проверить, как файлы / таблицы / данные менялись на протяжении всего процесса ETL / ELT.
Единственный способ, которым я мог придумать, как это сделать, — это использовать хранимые процедуры в ADF, которые собирают метаданные для каждой части и сохраняют в таблицах SQL, но я не был уверен, как я могу прочитать метаданные из файлов в озере данных.
Кто-нибудь предложил подход к тому, как это сделать, или даже лучшее решение.
Ответ №1:
Вы могли бы использовать get metadata файлов озера данных через getMetadata Activity.На основе официального документа выходные данные getMetadata Activity могут использоваться в условных выражениях для выполнения проверки.
Он поддерживает соединители Azure data lake:
Комментарии:
1. Я пытался использовать это для рекурсивного чтения файлов в папке, но информации, которую я получил от дочерних элементов, было недостаточно. Я не могу найти хороший ресурс, который позволил бы мне обновить скрипты JSON, чтобы получить то, что я хочу? Также я не был уверен, как сохранить выходную информацию.