#elastic-stack
#эластичный стек
Вопрос:
У нас заканчивается кучная память, а также проблемы с нестабильностью в нашем ELK, ниже скриншота конфигурации.
-Версия 6.2.4
-Количество узлов: 5
-Узлов данных: 3
-Индексы: 6138
-Документы: 3,840,550,046
-Первичные сегменты: 14,934
-Сегменты реплик: 14,934
-Доступный диск: 25,98 (1 ТБ / 5 ТБ)
-Куча JVM: 62,045 (46 ГБ / 74 ГБ)
Я знаю, что мне нужно уменьшить количество сегментов, а также данные, которые мы храним, начиная с января 2019 года, хотя данные 2019 года находятся в закрытом состоянии.
Мне нужна помощь в понимании того, как я могу сделать
1- переиндексацию, чтобы уменьшить количество фрагментов старых индексов
2- загрузка старых индексов и сохранение в архиве, а затем повторное использование того же, если и когда требуется
3- у нас ежедневная ротация индексов, как ее изменитьдля еженедельных / ежемесячных индексов и как это поможет.
С нетерпением жду некоторых указаний, поскольку ELK для меня новичок, и я задержался с этим.
Спасибо, Абхишек
Комментарии:
1. это не вопрос программирования
Ответ №1:
1- повторная индексация для уменьшения количества сегментов старых индексов
Переиндексация довольно дорогая; если у вас более одного первичного сегмента на индекс (в 6.x значение по умолчанию равно 5), я бы начал с a _shrink , что намного дешевле.
2. загрузите старые индексы и сохраните их в архиве, а затем повторно используйте их, если и когда потребуется
Звучит как снимок и восстановление, но это будет медленный и утомительный подход.
3- у нас есть ежедневная ротация индексов, как изменить ее на еженедельные / ежемесячные индексы и как это поможет.
Лучшим подходом было бы опрокидывание, которое обеспечивает большую гибкость, а также позволяет создавать индексы / сегменты одинакового размера. По умолчанию для бит в 7.x используется значение 50 ГБ для одного индекса сегментов.
Как правило, ваша версия Elasticsearch очень старая. В текущей версии 7.10 есть много улучшений производительности и стабильности. Также есть такие функции, как управление жизненным циклом индекса, которые могли бы стать решением вашей проблемы.
Некоторые дополнительные примечания:
- Почему только 3 из 5 узлов являются узлами данных?
- Как вы сказали, количество индексов и сегментов слишком велико.
- Размер кучи должен составлять не более ~ 30 ГБ, чтобы Java могла использовать сжатые указатели.
Комментарии:
1. 3 из 5 являются узлами данных из-за ограничения ресурсов, на других 2 эластичных серверах мы также запускаем kibana, в настоящее время наш эластичный файл имеет минимальную максимальную кучу 20 ГБ
2. Хорошо в куче. В конце концов, этого, вероятно, просто недостаточно для аппаратного обеспечения, особенно для количества осколков. Перейдите к текущей версии Elasticsearch (и Java), уменьшите количество сегментов, а затем посмотрите, работает ли это.
3. Если это решило вашу проблему, пожалуйста, отметьте это как ответ 🙂