#azure-data-factory
Вопрос:
У меня есть такой пример файла . Используя фабрику данных, где мне нужно создать еще один текстовый файл с выводом, где я могу удалить первые два столбца. Есть ли какой-либо запрос, по которому я могу сгенерировать файл, как показано ниже.
Исходный файл:
Выходной файл :
Комментарии:
1. Поток данных — правильный инструмент для этого. После загрузки источника используйте SELECT, чтобы захватить только нужные столбцы, затем ПРИЕМНИК выведет только выбранные столбцы.
Ответ №1:
Основная фабрика данных (т. Е. Не включая Отображение потоков данных) не обладает многими способностями для преобразования данных (что и есть), однако она может делать некоторые вещи. Он может изменять форматы (например, csv в JSON), добавлять некоторые столбцы метаданных (например, имя файла$$) и удалять столбцы, просто используя сопоставление в операции копирования.
- Добавьте действие копирования в свой конвейер и установите источник в свой основной файл
- Установите приемник на имя вашего целевого файла. Это может быть то же имя, что и у вашего исходного файла, но я бы сделал его другим для целей аудита.
- Импортируйте схему вашего файла, убедитесь, что разделитель в наборе данных установлен в точку с запятой ‘;’
4. Теперь нажмите кнопку Корзины, чтобы удалить сопоставления для столбцов 1 и 2. 5. Запустите конвейер. В выходном файле не должно быть двух столбцов.
Мои результаты:
Комментарии:
1. Пожалуйста, поднимите голос, если этот ответ был вам полезен.
Ответ №2:
Эту задачу можно выполнить с помощью преобразования Select в сопоставлении потока данных в фабрике данных Azure (ADF). Вы можете удалить все ненужные столбцы из текстового файла с разделителями в процессе преобразования потока данных.
Я протестировал то же самое в своей среде, и это работает нормально.
Пожалуйста, выполните следующие действия:
- Создайте фабрику данных Azure с помощью портала Azure
- Загрузите данные в источник (например, контейнер больших двоичных объектов)
- Создайте связанную службу для подключения хранилища больших двоичных объектов к ADF, как показано ниже
- Затем создайте наборы данных с разделителями текста, используя вышеупомянутую связанную службу для исходных и приемных файлов. В исходном наборе данных отметьте разделитель столбцов точкой с запятой(;). Кроме того, на вкладке Схема выберите Импортировать Схему из подключения/хранилища.
- Создайте поток данных. Выберите исходный набор данных из списка наборов данных. Нажмите на символ , чтобы добавить параметры выбора, как показано ниже.
- **В настройках выберите столбцы, которые вы хотите удалить, а затем нажмите на опцию удалить.
- Добавьте раковину в конце. На вкладке Приемник используйте набор данных приемника, созданный ранее на шаге 4. На вкладке «Настройки» для параметра «Имя файла» выберите «Вывод в один файл» и укажите имя файла в опции ниже.
- Теперь создайте конвейер и используйте действие потока данных. Выберите созданный поток данных. Нажмите кнопку Запустить сейчас, чтобы запустить конвейер.
Проверьте выходной файл в расположении приемника. Вы можете увидеть мои входные и выходные файлы ниже.
