Хранение CSV-файла с одним столбцом в формате массива на фабрике данных Azure

#azure-data-factory #azure-data-factory-2

#azure-data-factory #azure-фабрика данных-2

Вопрос:

Я пытаюсь скопировать csv-файл, содержащий один столбец построчно, и сохранить каждую запись в переменной массива, используя для каждого действия. Я пытаюсь записать данные этой переменной в файл, но не могу этого сделать.

Как мы можем достичь этого только с помощью ADF ?

Ответ №1:

Вы можете использовать действие поиска и не проверять First row only параметр. Вы получите массив, и каждый элемент является объектом, что-то вроде этого:

 "value": [
        {
            "column_name": "value1"
        },
        {
            "column_name": "value2"
        },
        {
            "column_name": "value3"
        },
        {
            "column_name": "value4"
        },
        {
            "column_name": "value5"
        }
    ]
 

Если вы хотите получить только такой массив: ["value1","value2","value3","value4","value5"] , вы можете добавить переменную и выполнить цикл @activity('Lookup1').output.value для добавления значения к вашей переменной.

Комментарии:

1. Спасибо, Стив, я могу формировать данные Json, но проблема в том, как загрузить эти данные в файл. Я получаю эти данные в переменной добавления, но не могу использовать это значение для загрузки в файл.

Ответ №2:

Это неправильное применение конвейера для управления данными для обеспечения масштабируемости. Вы можете использовать поток данных для подобных задач ETL.