Как разделить значение столбца с помощью фабрики данных Azure

#sql #azure #azure-data-factory-2 #azure-sql-server

Вопрос:

У меня есть исходный csv-файл, в котором есть один столбец, который имеет несколько значений (данные sep.by запятая (,)) поэтому я хочу извлечь этот конкретный столбец с помощью фабрики данных и сохранить эти несколько записей в таблице (в базе данных) с другим именем столбца

Не могли бы вы подсказать, как мне следует спроектировать этот конвейер azure data factory?

1. Вы говорите, что в файле CSV есть отдельные столбцы с данными, разделенными запятыми? Это может быть целой проблемой само по себе. Тем не менее, конвейеры не обрабатывают данные напрямую, поэтому вам нужно посмотреть на действие потока данных, которое позволит вам работать с самими данными.

2. @Joel Cochran да, и конкретный столбец, например, имя столбца: пользовательский, который имеет несколько разделенных запятыми данных и длина его данных превышает 2000 символов, я хочу разделить записи, длина которых превышает 2000 соответственно. и (хочу указать имя столбца col1, col2, col3, и каждый столбец должен содержать2000 символов)

Ответ №1:

Вы можете использовать функцию разделения в Derived Column преобразовании потока данных, чтобы разделить столбец на несколько столбцов и загрузить его в базу данных приемника, как показано ниже.

Преобразование источника:

Преобразование производного столбца:

Использование функции split(), разделение столбца на основе разделителя, который возвращает массив.

Предварительный просмотр данных производного столбца:

Здесь в производный столбец добавляются 2 новых столбца, в которых хранятся разделенные данные из исходного столбца (имя).

Выберите преобразование (необязательно):

В Select transformation мы можем удалить столбцы, которые не используются в приемнике, и выбрать только необходимые столбцы.

Sink:

Подключите приемник к базе данных и сопоставьте столбец для загрузки данных.