#azure #snowflake-cloud-data-platform #azure-log-analytics #azure-monitoring
Вопрос:
Как отслеживать снежинку с помощью Azure Monitor/azure-loganalytics. Я знаю , что если мы сможем отправить данные журнала из snowflake в Azure loganalytics, я смогу запускать запросы kusto и настраивать оповещения и панели мониторинга. Вопрос в том, какие данные журналов/таблиц отправлять и как (push vs pull).
Комментарии:
1. Пожалуйста, поделитесь тем, что вы пробовали до сих пор и где это сейчас работает — сообщество Stack Overflow с удовольствием поможет вам с конкретными проблемами. Для более общего обсуждения проверьте reddit.com/r/snowflake
2. Тип журналов/табличных данных для выгрузки в Azure из Snowflake будет зависеть от того, что вы хотите отслеживать. Но достаточно легко записать эти данные в файлы в хранилище Azure, например в хранилище больших двоичных объектов, а затем проанализировать их. Также вы найдете дополнительную информацию здесь: Выгрузка в Microsoft Azure . Не могли бы вы подробнее изложить проблему, чтобы я мог больше помочь.
3. Наблюдаемость. Я хочу отслеживать производительность снежинки , такую как длительные запросы , насыщенность по сравнению с использованием, ошибки и т.д., А также любые показатели, которые полезны для мониторинга/оповещения. Мои трассировки приложений помогают мне идентифицировать snowflake как зависимость, но я хочу, чтобы мое оповещение было упреждающим. если мой следующий запрос потерпит неудачу, я хочу получить его из первых рук до того, как это сделает приложение. Мы не используем такие инструменты, как newrelic/datadog. И мы также не входим в приоритетный план snowflake, который поддерживает некоторый мониторинг из коробки.
4. @FelipeHoffa — Я изучаю возможные/осуществимые подходы к мониторингу snowflake как еще одной услуги. Мой план 1. Определите различные таблицы и показатели, которые являются правильными сигналами для управления snowflake. 2. отправьте идентифицированные данные в хранилище Azure или Azure log analytics. 3. настройте оповещения о действиях 4. настройте панели мониторинга.