Блог

Главная - Вопросы по программированию - Ошибка обработчика Elasticsearch Elasticsearch отклонил данные

Ошибка обработчика Elasticsearch Elasticsearch отклонил данные

#elasticsearch #kibana #fluentd #td-agent

Вопрос:

Я установил td-agent в Ubuntu18 . td-agent.conf файл выглядит так, как показано ниже:

 <source>
  @type tail
  path /home/thingtrax/Documents/ThingTraxDevice/pi/logs/zigbee/TX-S2-SKL-035_cycle.json
  pos_file /home/thingtrax/Documents/ThingTraxDevice/pi/logs/zigbee/TX-S2-SKL-035_cycle.json.pos
  format json
  time_format %Y-%m-%d %H:%M:%S
  tag health035
</source>

<filter **>
  @type record_transformer
  <record>
    hostname ${hostname}
    Customer "SKL"
    Version "V2"
  </record>
</filter>

<filter *035*>
  @type record_transformer
  <record>
    EquipmentId "ACCUPACK3GD3"
  </record>
</filter>

<match health035>
  @type elasticsearch
  hosts https://search-ttproduction-7fzlahn2oj4ofkkw2vre.eu-west-2.es.amazonaws.com/
  user john
  password admin@123
  index_name health_skl_035
  type_name health
</match>

Выше файл агента td является образцом файла, но у меня есть 70 исходных файлов, в которые я загружаю данные elasticsearch , и аналогично у меня есть 70 файлов совпадений. Итак, файл агента td огромен, и именно поэтому я только что показал его для 1 исходного файла. Теперь проблема в том, что агент td может загружать все данные в elasticsearch, и я также могу видеть данные в elasticsearch. Но все равно я продолжаю получать предупреждение или ошибку ниже в файле журнала агента td:

2021-07-07 05:56:24 0000 [предупреждение]: #0 дамп события ошибки: error_class=Fluent::Плагин::ElasticsearchErrorHandler::Ошибка ElasticsearchError=»400 — Отклонено Elasticsearch» местоположение=ноль тег=»health035″ время=2021-07-07 05:55:22.785788722 0000 запись={«Идентификатор входа»=>2, «вход_1″=>>1, «input_2″=>>>4, «NodeID»=>>>>0, «Прошивка»=>>>>>7, «счетчик»=>>>>>>109, «идентификатор датчика»=>>>>>>>244, «Имя датчика»=>>>>>>>>»Другое», «MsgMissed»=>>>>>>>>>0, «is_health»=>>>>>>>>>>»Да», «Сила сигнала»=>>>>>>>>>>>74, «создано»=>>>>>>>>>>>>»2021-07-07T05:55:22.785491», «MacGateway»=>»0013A20041AEC6AA», «MacAdress_Sensor»=>»0013A20041C3672E», «трансляции»=>»нет», «свойство DeviceID»=>»Техас-С2-СКЛ-035», «имя»=>»Техас-Г1-318», «клиент»=>»СКЛ», «версия»=>»В2», «EquipmentId»=>»ACCUPACK3GD3»}

Я не в состоянии понять это сообщение об ошибке, как в нем говорится Rejected by Elasticsearch , но все же я могу видеть данные в elasticsearch. Означает ли эта ошибка, что я загружаю много данных, и из-за трафика некоторые данные между ними отклоняются elastisearch? Если это правда, может ли кто-нибудь предложить, как я могу обрабатывать много данных, так как у меня есть 70 файлов журналов, для которых мне нужно загрузить данные в elasticsearch.

Может ли кто-нибудь, пожалуйста, предположить, что означает эта ошибка. Пожалуйста, помогите, спасибо.

Метки: