#azure-data-factory-2 #azure-data-lake-gen2
#azure-data-factory-2 #azure-data-lake-gen2
Вопрос:
Azure Data Factory v2 имеет действие Get Metadata, которое может считывать метаданные из файлов, хранящихся в ADL. Он может сохранять метаданные в файлах при перемещении / копировании файлов. Но есть ли способ добавить или изменить метаданные в файлах озера с помощью ADF?
Комментарии:
1. Какой тип метаданных вы хотите изменить?
Ответ №1:
Да, есть способ.
Вы можете использовать API хранилища больших двоичных объектов Azure:
set-blob-метод метаданных для хранения больших двоичных объектов
Озеро данных — это просто расширение базового механизма хранения больших двоичных объектов
Итак, вы можете подключить веб-активность в своем конвейере и вызвать rest api, указывающий на ваш большой двоичный объект, и он установит для вас метаданные.
Ответ №2:
Метаданные создаются в озере данных (хранилище) после загрузки файлов.
Эти свойства нельзя изменить, если вы не удалите и повторно не загрузите их в озеро данных (или Stroage). Некоторые другие задавали те же вопросы о том, как изменить эти метаданные в Stack overflow. Вы можете легко найти их с помощью seraching.
Но если вы измените содержимое файла в озере данных, например, добавите или удалите столбцы, size , columnCount и structure могут быть изменены.
Итак, на вопрос «есть ли способ добавить или изменить метаданные в файлах озера с помощью ADF?», Ответ — нет, нет.
HTP.
Комментарии:
1. Я не согласен. Мы можем изменять метаданные в большом двоичном объекте, используя что-то вроде Storage Explorer, даже после того, как они были созданы без удаления.
2. @DhruvJoshi Я могу тебя понять. Конечно, вы могли бы добавить метаданные в обозреватель хранилища. Но выходные данные (метаданные) метаданных Get отличаются от метаданных blob. Это разные вещи.
3. Фабрика данных больше похожа на получение свойств файла. Мы не можем изменить его на фабрике данных. Вы можете протестировать добавление некоторых метаданных в Storage Explorer, а затем использовать Get meta data для их получения.