#jdbc #azure-sql-database #azure-data-factory
#jdbc #azure-sql-database #azure-data-factory
Вопрос:
Я планирую, внедряю и запускаю архитектуру отчетов на основе Azure для своего клиента. Источником является база данных их ERP-систем, ETL, а хранение данных происходит в Azure SQL DB, все промежуточное и «оркестровка» (запуск нужных действий в нужном порядке в нужное время) в основном обрабатывается с помощью ADF. В настоящее время они запускают свою базу данных ERP-систем на локальном сервере SQL Server, к которому я подключаюсь из ADF, используя автономную среду выполнения интеграции. Теперь они хотят переключиться на решение SaaS, предлагаемое их поставщиком ERP, которое предлагает только подключение JDBC для запроса базы данных ERP-систем.
Итак, мой вопрос в том, есть ли какая-либо возможность запросить соединение JDBC непосредственно из ADF? Основным требованием является получение данных из базы данных ERP и запись их в промежуточные таблицы в базе данных SQL Azure. Однако я бы настоятельно предпочел сделать это с помощью ADF, поскольку текущая реализация и все остальные элементы ETL уже есть.
После того, как я потратил несколько дней на Google, пытаясь найти возможные решения, я все еще не нашел много полезной информации. Единственные возможные способы, которые я нашел, — это «неправильное использование» блоков данных (для чтения из соединения JDCB и записи в Azure SQL DB) или путем написания приложения .NET и запуска его как webjob в Azure.
Я очень благодарен за любой вклад, который может оказаться полезным!
Ответ №1:
Не могли бы вы уточнить и сообщить нам о драйвере.
Из Azure datafctory вы всегда можете вызвать notebook на стороне Adb (вам нужно использовать действие notebook book).
Комментарии:
1. Спасибо или ваш ответ. К сожалению, у меня действительно нет дополнительной информации о подключении JDBC, которое предлагает поставщик ERP. У них даже нет тестового подключения, с которым я мог бы поиграть. Я знаю, что могу вызвать Databricks Notebooks с Azure Data Factory, но использование Databricks было бы резервным решением только в том случае, если нет другого способа считывать данные из подключения JDBC и записывать их в таблицу базы данных SQL Azure. Это все, что я хочу сделать, никаких преобразований или чего-либо еще, что требуется на данный момент.
2. Я только что нашел некоторую информацию о драйвере, похоже, что это «Compass JDBC». Вы знаете, поддерживается ли это Databricks?
3. К сожалению, Compass JDBC не поддерживается. Вот список источников данных, поддерживаемых Azure Databricks: learn.microsoft.com/en-us/azure/databricks/data/data-sources
4. Я сталкиваюсь с той же проблемой, что и Infor Compass JDBC. Драйвер ODBC не предоставляется. Azure Data Factory, похоже, не подходит. Мы выбрали подход с использованием блокнота Databricks с кодированием на Python, поскольку мы уже используем Databricks и выполняем некоторую обработку данных после извлечения данных. Базовый пример функции Azure можно найти здесь: youtube.com/watch?v=dGukIBOEAOY