Блог

Мой фильтр logstash настроен следующим образом:

 filter {
  grok {
    patterns_dir => ["/usr/share/logstash/pipeline/patterns/"]
    match => {
      "[message]" => "%{TIMESTAMP_ISO8601:timestamp} %{THREAD:thread} %{LOGLEVEL:level} %{LOGGER:logger} %{CONTEXT:context} - %{GREEDYDATA:message}"
    }
  }
  mutate {
    rename => { "[fields][index]" => "application" }
    rename => { "[host][name]" => "instance" }
    remove_field => ["@version","agent.ephemeral_id","agent","ecs","fields","input","tags"]
  }
}
  

Отладчик Grok предполагает, что все в порядке, и для строки ошибки:

 2020-10-28 05:14:41,282 [Worker-5] DEBUG Amount  - calculate operation: [1], useCurrencyCodeOfPosition: [false]
  

Я получаю следующий результат:

 {
  "level": "DEBUG",
  "logger": "Amount",
  "context": "",
  "thread": "Worker-5",
  "message": "calculate operation: [1], useCurrencyCodeOfPosition: [false]",
  "timestamp": "2020-10-28 05:14:41,282"
}
  

Шаблоны определяются следующим образом:

 THREAD [(?<thread>[^]]*)]
LOGGER (?<logger>[^ ]*)
CONTEXT (?<context>[^-]*)
  

Теперь каждое значение, созданное фильтром grok, дублируется, как показано в примере ниже:

              "logger" => [
    [0] "Amount",
    [1] "Amount"
],
             "thread" => [
    [0] "[Worker-5]",
    [1] "Worker-5"
  

В чем здесь проблема?
Я просто не могу понять это.
Это мой первый фильтр :).
Я работаю с Logstash 7.9.2 (dockerized)

Я думаю, что есть проблемы с пользовательскими шаблонами в фильтре. То, что вы хотите, также может быть достигнуто простым использованием готовых шаблонов, как показано ниже

 filter{
 grok {
    match => {
      "message" => "%{TIMESTAMP_ISO8601:timestamp}%{SPACE}[%{DATA:thread}]%{SPACE}%{LOGLEVEL:level}%{SPACE}%{NOTSPACE:logger} %{DATA:context}-%{SPACE}%{GREEDYDATA:message}"
    }
    overwrite => [ "message" ]
  }
  mutate {
    rename => { "[fields][index]" => "application" }
    rename => { "[host][name]" => "instance" }
    remove_field => ["@version","agent.ephemeral_id","agent","ecs","fields","input","tags"]
  }
}
  

Проверьте эту ссылку шаблонов grok по умолчанию. Если вам нужно провести анализ временных рядов по этим событиям, я бы посоветовал вам переопределить @timestamp timestamp или, по крайней мере, применить фильтр даты timestamp .

Если вы ожидаете фиксировать многострочные ошибки трассировки стека, рассмотрите возможность использования многострочного фильтра в плагине ввода.