Блог

Я хочу создать конвейер данных с использованием фабрики данных Azure, где исходные данные могут поступать из ADLS, Oracle, S3 в зависимости от того, как пользователь выбирает предоставление данных. Это означает, что я должен использовать три разных соединителя в конвейере. Как только данные будут предоставлены в любом из источников, я хочу выполнить преобразование данных с помощью databricks и снова сохранить выходные данные, соответствующие выбранному источнику. Например, если я выбираю S3 в качестве источника, то мои выходные данные также должны храниться в том же сегменте S3. Если я выберу таблицу Oracle в качестве источника, то выходные данные должны быть сохранены в таблице Oracle. В основном пытаюсь создать общий конвейер. Возможно ли это сделать с помощью ADF и Azure DevOps? Любые указания о том, как начать, были бы действительно полезны.

Нет, мы не можем. Соединитель фабрики данных использует связанную службу для подключения к набору данных. Для разных источников требуются разные драйверы или настройки (путь / тип файла, схема и так далее). Пока это невозможно.