Блог

Мне нужна помощь относительно хранилища данных Azure SQL, я использую Polybase для переноса данных из хранилища Azure Data Lake Gen2 в Azure SQL DW. При первой загрузке данных в DW проблем нет. Но когда мы загружаем данные снова / инкрементная загрузка, как мы вводим данные вверх?

Поток, который мы используем

ASDL2 -> (polybase) -> Внешняя таблица -> (CTAS) -> Промежуточные таблицы -> (преобразование) -> таблицы измерений

При каждом изменении данных мы перезагружаем данные в ASDL2,
каков наилучший способ обновления данных или нам также следует перезагрузить данные в SQLDW?

Поскольку в хранилище данных Azure не поддерживается СЛИЯНИЕ, вам необходимо использовать другие средства для загрузки данных из внешних таблиц в ваши таблицы Stage. PolyBase можно использовать для загрузки как начальных, так и дополнительных данных во внешнюю схему таблиц, но именно так вы выполняете загрузку в промежуточные таблицы.

Ниже приводится отличное руководство по развертыванию этого решения: Использование PolyBase для обновления таблиц в хранилище данных из ADLS

После загрузки данных во внешние таблицы через PolyBase в конвейере ADFv2 вызывается триггер для выполнения sp в ADWH для выполнения загрузки в промежуточные таблицы.