#sql #azure-data-factory #azure-data-flow
Вопрос:
Я видел много примеров объединения 2 источников в потоках данных сопоставления, но не могу четко понять концепцию, и, возможно, объединение все-таки не является ответом на мою проблему.
У меня есть несколько csv-файлов в хранилище больших двоичных объектов.
Все разные имена и разные столбцы. например:
- Покупатель
- Сайт
- Обслуживание
- Продавец
с точки зрения данных все таблицы имеют какую-то связь друг с другом. Вы можете легко объединить эти таблицы в sql, используя Pk и FK.
Что я хочу, так это собрать все эти таблицы в один выходной файл.
Я не уверен, следует ли мне использовать объединение в потоке данных ADF или ОБЪЕДИНЕНИЕ или слияние в операции копирования??
может кто-нибудь помочь, пожалуйста!
Спасибо
Комментарии:
1. С краткого взгляда, объединение имело бы смысл, так как вы упомянули, что у них есть некоторое соединение, чтобы присоединиться друг к другу, но было бы полезно, если бы вы могли предоставить нам некоторый образец набора данных и ожидаемые выходные данные, чтобы увидеть, как мы можем помочь.
2. @gumdrop , Если мой ответ был полезен, вы можете принять его как ответ, чтобы другие, столкнувшиеся с той же проблемой, могли найти это решение и решить свою проблему.
Ответ №1:
В ADF вы будете визуально создавать соединения внутри компонента потока данных. Добавьте действие потока данных на холст конвейера и внутри конструктора потоков данных, добавьте свой источник и преобразование соединения. Именно здесь вы можете задать типы связей и соединений.
Ответ №2:
Вы можете объединить два источника в фабрике данных Azure.
Создайте действие потока данных в Фабрике данных Azure.
В потоке данных добавьте источники из хранилища больших двоичных объектов и выберите Присоединиться, как показано на рисунке ниже.
В действии объединения вы можете выбрать тип объединения, а также добавить условие для объединения нескольких источников. См.изображение ниже.
Наконец, добавьте файл приемника и запустите конвейер.