Блог

Я запускаю несколько конвейеров данных на фабрике данных Azure и использую среду выполнения интеграции Azure для вычислений. Я пытаюсь отслеживать использование процессора/памяти, которое потребляют конвейеры, и использовать Azure IR. Я проверил в Лазурном мониторе, но показатели ЦП / памяти, я думаю, предназначены для самостоятельной интеграции во время выполнения. Кроме того, при включенной настройке диагностики я также попытался проверить данные в журналах, но эти данные недоступны. Может ли кто-нибудь помочь узнать больше вариантов?

Если вы имеете в виду Azure AutoResolveIntegrationRuntime, то никакого там нет, и вот почему (из https://www.cathrinewilhelmsen.net/integration-runtimes-azure-data-factory/)

У Microsoft есть огромные эластичные пулы в различных местах/регионах, которые они предлагают Azure, и во время выполнения ADF определяет, какой пул/оборудование он будет использовать для выполнения операций конвейера. Таким образом, на самом деле нет способа (и нет необходимости) отслеживать ИК-разрешение Azure Autoresolve. Но если вы заинтересованы в мониторинге автономных ИК-систем, то есть много способов сделать это.

Один из простых и простых способов сделать это-создать информационные панели Azure в разделе «Показатели» Azure Monitor. Как вы можете видеть на скриншоте ниже, он обеспечивает хорошее визуальное представление использования/ресурсов с течением времени. Как вы можете видеть, я визуализирую саму среду выполнения интеграции (процессор/память), а также виртуальную машину Azure, на которой размещена среда выполнения интеграции. Кроме того, вы можете перейти на панель мониторинга показателей, чтобы настроить оповещения, если выполняются определенные условия (например, средняя загрузка процессора за последние 15 минут превышает 75%). Эти предупреждения могут отправить вам текстовое сообщение или электронное письмо… и даже выполнять такие сложные действия, как запуск приложения LogicApp или веб-приложения для автоматического масштабирования/вывода, расширенных уведомлений и т. Д.

На мой взгляд, это лучший способ мониторинга, но другим вариантом может быть вызов REST API фабрики данных Azure для получения данных мониторинга для времени выполнения интеграции

 POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}/monitoringData?api-version=2018-06-01
 

Но этот метод потребует, чтобы вы постепенно извлекали данные, сохраняли их, анализировали, а затем визуализировали или действовали в соответствии с ними, когда это уже очень хорошо для вас встроено. Хотя иногда забавно воссоздавать колеса.

Да, можно отслеживать время выполнения интеграции Azure.

«Запуск конвейера» в мониторинге позволяет проверять загрузку ЦП, специфичную для конвейера, время выполнения интеграции и более конкретные фильтры. Вы можете узнать здесь, как это делается.