#azure-eventhub #fluentd
#azure-eventhub #fluentd
Вопрос:
Некоторые из используемых нами служб Azure (например, APIM, Функциональные приложения и т. Д.) Отправляют журналы в центры событий Azure.
Как мне использовать эти журналы во Fluentd?
На странице плагинов Fluentd я не вижу никаких плагинов ввода, специально предназначенных для Azure Event Hubs. Однако существует плагин Kafka, который может работать — не уверен.
Существует также плагин вывода Azure Event Hubs — смотрите Здесь, но я ищу плагин ввода.
Logstash (который является альтернативным решением для пересылки журналов) имеет плагин ввода Azure Event Hubs — смотрите здесь, но мы хотим использовать Fluentd по нескольким другим причинам.
Кто-нибудь делал это раньше?
Комментарии:
1. Fluent / Fluentd предоставляет унифицированное решение для сбора журналов. Зачем вам нужно читать источник Azure Event Hubs? Это почти противоположно тому, для чего был разработан Fluent.
2. Нам необходимо собирать журналы из нескольких различных источников, включая (но не ограничиваясь ими) контейнерные / индивидуальные службы, работающие в AKS, и службы Azure, такие как APIM, приложения для функций / логики и т. Д. Я думал о Fluentd для фильтрации журналов, преобразования / стандартизации, обогащения и т. Д., А Затем маршрутизации / пересылки журналов в несколько пунктов назначения, включая наше централизованное решение для ведения журнала (Splunk), а также хранилище больших двоичных объектов (для более дешевого долгосрочного хранения). Azure Event Hubs входит в картину, чтобы мы могли завершить конвейер для служб Azure …. иначе как бы мы получили журналы APIM в Fluentd?
3. Я думаю, вы ищете диагностические / операционные журналы метрик Event Hubs, а не фактический поток из сервиса. Вы можете подтвердить?
4. Свободное владение языком — неподходящий инструмент для этого. Splunk уже предоставляет сборщики данных для служб Azure, включая центры событий Azure. Вы это проверили? Вот пример, на который вы можете взглянуть — splunk.com/en_us/blog/platform/splunking-azure-event-hubs.html
5. Изначально я не знал, что Fluent поддерживает Kafka в качестве источника ввода. Теперь имеет больше смысла избегать дублирования логики и использовать все сервисы в едином Fluent experience.