Блог

Главная - Вопросы по программированию - Fluent-bit не отправляет данные в службу Amazon es

Fluent-bit не отправляет данные в службу Amazon es

#elasticsearch #kubernetes-helm #amazon-eks #fluent-bit

#elasticsearch #kubernetes-рулевой #amazon-eks #fluent-bit

Вопрос:

Я установил fluentbit с помощью helm, версия Fluent-bit — 1.13.11, модули fluentbit работают нормально, но по-прежнему не могут отправлять данные в Amazon ES, ниже приведены ошибки и файлы yamls.

пожалуйста, укажите любой URL-адрес, который может помочь мне легко установить это.

Ошибка: — Получение двух видов ошибок:-

 1st -
[2020/10/12 12:05:06] [error] [out_es] could not pack/validate JSON response
{"took":0,"errors":true,"items":[{"index":{"_index":"log-test-2020.10.12","_type":"flb_type","_id":null,"status":400,"error":{"type":"validation_exception","reason":"Validation Failed: 1: this action would add [10] total shards, but this cluster currently has [991]/[1000] maximum shards open;"}}},{"index":{"_index":"log-test-2020.10.12","_type":"flb_type","_id":null,"status":400,"error":{"type":"validation_exception","reason":"Validation Failed: 1: this action would add [10] total shards, but this cluster currently has [991]/[1000] maximum shards open;"}}},{"index":{"_index":"log-test-2020.10.12","_type":"flb_type","_id":null,"status":400,"error"{"type":"validat```

2nd :- 
[2020/10/12 12:05:06] [ warn] [engine] failed to flush chunk '1-1602504304.544264456.flb', retry in 6 seconds: task_id=23, input=tail.0 > output=es.0
[2020/10/12 12:05:06] [ warn] [engine] failed to flush chunk '1-1602504304.79518090.flb', retry in 10 seconds: task_id=21, input=tail.0 > output=es.0
[2020/10/12 12:05:07] [ warn] [engine] failed to flush chunk '1-1602504295.264072662.flb', retry in 81 seconds: task_id=8, input=tail.0 > out```



  
 fluentbit config file :- 
[INPUT]
    Name              tail
    Tag               kube.*
    Path              /var/log/containers/*.log
    Parser            docker
    DB                /var/log/flb_kube.db
    Mem_Buf_Limit     30MB
    Skip_Long_Lines   On
    Refresh_Interval  10
[OUTPUT]
    Name            es
    Match           *
    Host            ${FLUENT_ELASTICSEARCH_HOST}
    Port            ${FLUENT_ELASTICSEARCH_PORT}
    Logstash_Format On
    Logstash_Prefix log-test
    Time_Key        @timestamp
    tls             On
    Retry_Limit     False

customParsers: |

[PARSER]
    Name   apache
    Format regex
    Regex  ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) [(?<time>[^]]*)] "(?<method>S )(?:  (?<path>[^"]*?)(?:  S*)?)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^"]*)" "(?<agent>[^"]*)")?$
    Time_Key time
    Time_Format %d/%b/%Y:%H:%M:%S %z
[PARSER]
    Name   apache2
    Format regex
    Regex  ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) [(?<time>[^]]*)] "(?<method>S )(?:  (?<path>[^ ]*)  S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^"]*)" "(?<agent>[^"]*)")?$
    Time_Key time
    Time_Format %d/%b/%Y:%H:%M:%S %z
[PARSER]
    Name   apache_error
    Format regex
    Regex  ^[[^ ]* (?<time>[^]]*)] [(?<level>[^]]*)](?: [pid (?<pid>[^]]*)])?( [client (?<client>[^]]*)])? (?<message>.*)$
[PARSER]

[PARSER]
    Name   json
    Format json
    Time_Key time
    Time_Format %d/%b/%Y:%H:%M:%S %z

[PARSER]
    Name        docker
    Format      json
    Time_Key    time
    Time_Format %Y-%m-%dT%H:%M:%S.%L
    Time_Keep   On

Комментарии:

1. вы нашли какое-либо решение для ошибки?

Ответ №1:

изменение ВЫВОДА: Retry_Limit 10 или ниже и балансировка его с помощью ввода: Buffer_Max_Size, что должно помочь сохранить буфер заполненным элементами для повторной попытки

Ответ №2:

вы должны увеличить количество сегментов в kibana, поскольку в вашем журнале ошибок четко указано максимальное количество открытых сегментов:-

validation_exception","причина": "Ошибка проверки: 1: это действие добавило бы [10] общих сегментов, но в настоящее время в этом кластере открыто [991] / [1000] максимальных сегментов; "}

используйте приведенный ниже cmd в пользовательском интерфейсе kibana dev tool, чтобы увеличить количество сегментов:-

ПОМЕСТИТЕ /_cluster/settings { "постоянный" : {"cluster.max_shards_per_node" : }}