Блог

Я пытаюсь собирать журналы с узлов Kubernetes с помощью Filebeat и отправлять их в ELK ТОЛЬКО в том случае, если журналы происходят из определенного пространства имен Kubernetes.

До сих пор я обнаружил, что вы можете определить процессоры, которые, я думаю, выполняют это. Однако, независимо от того, что я делаю, я не могу ограничить отправленные журналы. Правильно ли это выглядит?

Хм, тогда это выглядит правильно?

 filebeat.config:
  inputs:
    path: ${path.config}/inputs.d/*.yml
    reload.enabled: true
    reload.period: 10s
    when.contains:
      kubernetes.namespace: "NAMESPACE"
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false
  processors:
    - add_kubernetes_metadata:
      namespace: "NAMESPACE"
xpack.monitoring.enabled: true
output.elasticsearch:
  hosts: ['elasticsearch:9200']
  

Несмотря на эту конфигурацию, я все еще получаю журналы из всех пространств имен.

Filebeat выполняется как набор демонов в Kubernetes. Вот пример расширенной записи журнала:https://i.imgur.com/xfTwbhl.png

У вас есть несколько вариантов для этого:

1. Фильтровать данные по filebeat

 processors:
 - drop_event:
     when:
        contains:
           source: "field"
  

2. Используйте конвейер ввода в elasticsearch:

 output.elasticsearch:
  hosts: ["localhost:9200"]
  pipeline: my_pipeline_id
  

А затем тестировать события в конвейере:

 {
  "drop": {
    "if" : "ctx['field'] == null "
  }
}
  

3. Используйте фильтр удаления logstash:

 filter {
  if ![field] {
    drop { }
  }
}
  

В конце концов, я решил эту проблему, переместив процессор удаления во входной файл конфигурации из файла конфигурации.