#snowflake-cloud-data-platform #azure-data-factory #rest
Вопрос:
Я пытаюсь отслеживать выполнение конвейера из ADF в таблице снежинок. Мне удалось использовать REST API для передачи данных в Power BI, но теперь мне нужно передать данные из ADF в Snowflake. У кого-нибудь есть какие-нибудь примеры, которые могли бы очень помочь. Мне нужно получить такие данные, как имя конвейера, время выполнения, время запуска, сообщение об ошибке и т.д.
Комментарии:
1. Какая задержка? (время между записью журнала и появлением в snowflake). Предпочтительным инструментом анализа журналов для ADF является Log Analytics — есть ли какая-то причина, по которой вы хотите использовать его в SF? Учитывая, что SF, похоже, предпочитает пакетные загрузки, вы можете использовать что-то вроде запланированной автоматизации Azure для извлечения журналов ADF с помощью REST API, а затем вставить их в Snowflake, если вы можете заставить драйвер snowflake работать с Azure automation или если snowflake поддерживает API REST для вставки. Это нужно было бы запланировать. Или вы можете написать в хранилище больших двоичных объектов и вставить их в snowpipe.
Ответ №1:
Пожалуйста, проверьте приведенный ниже подход.
- Введите имя конвейера, время выполнения, время запуска, сообщение об ошибке и т. Д. Подробности в переменные конвейера
- Внутри операции копирования укажите исходный код на какой — либо фиктивный файл в blob-объекте или сборке данных, а затем добавьте дополнительные столбцы для имени конвейера, времени выполнения, времени запуска, сообщения об ошибке и т. Д. На вкладке источник.
- Внутри действия копирования Наведите указатель мыши на таблицу снежинок.
- Внутри действия копирования вкладка Сопоставление — Сопоставьте столбцы источника и приемника соответственно.
Пожалуйста, посмотрите видео ниже, где автор делает то же самое, но использует поток данных. В вашем случае вы можете перейти к копированию, как описано выше. https://www.youtube.com/watch?v=-xna7n33lmc
Чтобы узнать, как получить доступ к сообщению об ошибке при любом сбое в работе. Пожалуйста, проверьте видео https://www.youtube.com/watch?v=_lSB7jaDnG0