#azure #azure-sql-database #azure-data-factory #cdc #azure-sqldw
#azure #azure-sql-database #azure-data-factory #cdc #azure-synapse
Вопрос:
Я хотел обновить и вставить (upsert) инкрементные данные из базы данных SQL azure в хранилище данных Azure, используя фабрику данных azure
:-> В базе данных есть несколько таблиц.
Комментарии:
1. Есть пара действительно хороших сторонних разработчиков, которые предоставляют сбор данных об изменениях (CDC), а также возможности инкрементной загрузки. learn.microsoft.com/en-us/azure/sql-data-warehouse /…
Ответ №1:
Вы должны определить водяной знак в своей исходной базе данных. Водяной знак — это столбец, содержащий последнюю обновленную временную метку или увеличивающий ключ. Решение для загрузки delta загружает измененные данные между старым водяным знаком и новым водяным знаком. Рабочий процесс для этого подхода показан на следующей диаграмме.
Пошаговые инструкции см. в этой статье. В этой статье настройте приемник так, чтобы он был хранилищем данных SQL Azure, и у вас вроде как есть все, что вам нужно в этой статье.
Другой полезный пример можно найти в этой документации Microsoft.