Filebeat - отправка и обработка файлов конфигурации в формате ключ = значение

#elasticsearch #filebeat

Вопрос:

Я использую Filebeat для отправки журналов в Logstash, а оттуда в ElasticSearch.

Я хочу отправить также файлы конфигурации, но я хотел бы декодировать их и преобразовать в json или в любой другой формат, который позволит мне запускать запросы агрегации на основе ключей и значений конфигурации.

Мой файл :

 key1=val1
key2=val2
key3=val3

Например, в Kibana я хотел бы выполнить некоторую агрегацию на основе key1..

Есть ли какой-либо процессор, такой как decode_json или decode_csv, который я могу использовать?

Ответ №1:

Механизм для анализа этого потока данных должен управляться на стороне logstash, а не на filebeat, который должен занимать минимальное место на хосте.

Итак, учитывая этот момент, вы должны установить фильтр в файле конфигурации logstash, который должен выглядеть следующим образом :

 filter{
  kv{}
}

Для получения более подробной информации смотрите официальную документацию здесь.

1. такие процессоры, как decode_json, также должны быть установлены в logstash, а не в filebeat ?

2. Я думаю, вы могли видеть сторону кодека при вводе logstash: elastic.co/guide/en/logstash/current/codec-plugins.html для того, чтобы иметь что-то, что подходит к функции decode_json filebeat

3. Это сработало, спасибо! Какой шаблон вы предлагаете использовать в filebeat, чтобы отправить весь файл конфигурации как одно событие? если формат foo=bar