Блог

У нас большая проблема с нашим ES-кластером. Один из наших узлов всегда использует процессор на 99%. По какой-то причине для elasticsearch процесса выполняется примерно в 3 раза больше потоков по сравнению с обычным узлом. Я приложил 2 htop скриншота для 2 узлов, один перегруженный, а другой обычный. Пожалуйста, посоветуйте!

Спасибо!

Перегруженный узел

Обычный узел

Обновить

1. Кластерная архитектура:

   11 узлов, 2 выделенных мастера, 9 узлов данных.

2. Аппаратные свойства узлов

   Мастера:

   • Процессор: 8-кратный процессор Intel (R) Xeon (R) E5-1620 v2 с частотой 3,70 ГГц
   • Объем памяти: 32 ГБ
   • Диск: 120 ГБ

   Подчиненные:

   1. Процессор: 12-кратный процессор Intel (R) Xeon (R) E5-1650 v2 с частотой 3,50 ГГц
   2. Объем памяти: 64 ГБ
   3. Диск: 2.7T

3. Документы в кластере:

   ~ 200 миллионов

4. Index conf:

   Каждый индекс разделен на 10 сегментов (5 основных, 5 реплик)

5. Запросы:

   Поиск RT: ~ 250/s , Индексирование RT: ~ 6K/s

6. ОС

   Ubuntu 12.04.4 LTS

7. JAVA

 java version "1.7.0_60"
Java(TM) SE Runtime Environment (build 1.7.0_60-b19)
Java HotSpot(TM) 64-Bit Server VM (build 24.60-b09, mixed mode)
  

Разобрался.

[2014-07-07 13:38:42,521][DEBUG][index.search.slowlog.query] [n013.my_cluster] [my_index][3] took[2s], took_millis[2066], types[my_type], stats[], search_type[QUERY_THEN_FETCH], total_shards[5], source[{"size":20,"from":0,"sort":{"_score":"desc"},"query":{"filtered":{"query":{"query_string":{"query":"my eight words space separated query","fields":["description","tags"],"default_operator":"OR"}},"filter":{"and":[{"range":{"ats":{"lte":1404730800}}},{"terms":{"aid":[1,2,4]}}]},"_cache":false}}}], extra_source[]

Проблема заключалась внутри "filter": {"and": ...} , похоже, что такого рода запросы тяжелее для ES по сравнению с bool запросами типа. Поэтому всякий раз, когда вы хотите применить некоторые filters , пожалуйста, используйте bool фильтры ( must , must_not и should )

Ссылка:http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/query-dsl-bool-filter.html

Приветствия!

Основываясь на имеющейся скудной информации, у меня есть пара предположений, которые потенциально могут быть проблемой:

• Сегменты не очень хорошо сбалансированы, и у вас возникают горячие точки. Убедитесь, что ваши наиболее часто используемые индексы распределены таким образом, чтобы каждая машина могла выполнять свою долю работы. Кроме того, загляните на уровень индекса «index.routing.allocation.total_shards_per_node», чтобы попытаться установить равный баланс.

• Возможно, на стороне поиска вы указываете, что поиск всегда должен идти к «основному» сегменту. Первичное обозначение — это не то, что уравновешивает, поэтому, по сути, первый узел имеет первичный сегмент, а все остальные, которые появляются после, являются вторичными.