#elasticsearch #logstash #filebeat #kibana-7
Вопрос:
В настоящее время в нашей среде настроен конвейер для передачи журналов nginx в kibana. На веб-сервере у нас есть конфигурация файловой системы для отправки журналов nginx на сервер logstash для обработки. На сервере logstash есть файл logstash conf, который анализирует журналы nginx и отправляет их в эластичный поиск. Мы столкнулись с проблемой с проанализированными данными.
- когда мы просматриваем проанализированные данные, доступны не все данные. Каждое проанализированное сообщение содержит около 30 полей. Но на момент просмотра данных через discover удалось увидеть только 9 доступных полей данных`
- Данные обновляются в течение определенного периода времени. Через некоторое время (через 4 часа) я смогу просмотреть все 30 полей. Нужна помощь в выявлении причины этой проблемы. Почему возникает временная задержка в отображении всех данных
Проведенный анализ
Мы проверили узлы эластичных данных и состояние кластера. Кластер зеленый, и нет проблем, связанных с пространством. Узел данных заполнен только на 75%.
Любая помощь по вышеуказанному очень ценится.
.