#elasticsearch-5
#elasticsearch-5
Вопрос:
Мы используем эластичный поиск на одном узле, и неназначенные сегменты мониторинга накапливаются.
Откуда берутся эти осколки и как их можно избежать?
# curl http://localhost:9200/_cat/shards?pretty|grep UNASSIGNED
--:.monitoring-es-6-2021.02.08 0 r UNASSIGNED
--:.monitoring-es-6-2021.01.25 0 r UNASSIGNED
--.monitoring-es-6-2021.01.29 0 r UNASSIGNED
--.monitoring-es-6-2021.02.17 0 r UNASSIGNED
:-.monitoring-es-6-2021.01.20 0 r UNASSIGNED
-:--.monitoring-es-6-2021.01.31 0 r UNASSIGNED
-.monitoring-es-6-2021.02.01 0 r UNASSIGNED
-:-.monitoring-es-6-2021.02.09 0 r UNASSIGNED
-:.monitoring-es-6-2021.02.07 0 r UNASSIGNED
--.monitoring-es-6-2021.02.12 0 r UNASSIGNED
13.monitoring-es-6-2021.02.15 0 r UNASSIGNED
18k.monitoring-es-6-2021.02.16 0 r UNASSIGNED
.monitoring-es-6-2021.01.19 0 r UNASSIGNED
.monitoring-es-6-2021.01.22 0 r UNASSIGNED
.monitoring-es-6-2021.02.18 0 r UNASSIGNED
.monitoring-es-6-2021.02.11 0 r UNASSIGNED
.monitoring-es-6-2021.01.18 0 r UNASSIGNED
.monitoring-es-6-2021.01.24 0 r UNASSIGNED
....
Мы запускаем elasticsearch, используя изображение docker, формируем файл Dockerfile следующим образом:
ARG version=5.6.16
FROM docker.elastic.co/elasticsearch/elasticsearch:${version}
RUN /usr/share/elasticsearch/bin/elasticsearch-plugin install analysis-phonetic
amp;amp; /usr/share/elasticsearch/bin/elasticsearch-plugin install analysis-icu
С этим env:
environment:
- xpack.security.enabled=false
- discovery.type=single-node
- TAKE_FILE_OWNERSHIP=true
Мы нашли https://www.datadoghq.com/blog/elasticsearch-unassigned-shards / но, похоже, это решает проблему только временно и должно выполняться регулярно. Мы стараемся избегать халтурного решения задачи cron и хотим устранить первопричину 
Ответ №1:
Я полагаю, что ваш шаблон индексирования создает несколько индексов, и сегменты связаны с каждым созданным индексом https://www.elastic.co/blog/how-many-shards-should-i-have-in-my-elasticsearch-cluster .
Комментарии:
1. Что вы подразумеваете под шаблоном? Мы вообще не знаем, откуда берутся индексы
2. Ваш индекс обычно задается тем, что отправляет elasticsearch данные. Чтобы увидеть ваши активные индексы, запустите curl -XGET localhost:9200/_cat/indexes
3. Мне было интересно, является ли это своего рода стандартным индексом, созданным elastic search самостоятельно или другим распространенным инструментом.
Ответ №2:
Проверьте https://discuss.elastic.co/t/what-are-monitoring-indices/144855
Откуда берутся эти сегменты?
«Это системные индексы, созданные Elasticsearch и Kibana, они обычно маленькие и удаляются через семь дней, поэтому я бы не беспокоился».
Как их можно избежать?
«С 6.3 x-pack поставляется с любым дистрибутивом по умолчанию, и мониторинг включен по умолчанию. Если вы действительно хотите отключить его, вы можете, см. https://www.elastic.co/guide/en/elasticsearch/reference/current/monitoring-settings.html «
По шаблону индексов — это примерно то, как вы создаете свои индексы.
Например, этот процесс создает один индекс в день.
Другие шаблоны:
- Создайте индекс по запросу клиента
- Создайте индекс по дате
- Создайте индекс за год и т. Д.
Будут те, у кого есть только один индекс, и они не следуют шаблону для создания индексов. Шаблоны для создания индексов нигде не существуют в ES. Это шаблон, которому вы, как пользователь ES, следуете для создания своих индексов в соответствии с вашими потребностями.