Блог

Существует большой индекс, недавно полностью обновленный этот индекс, чтобы добавить несколько новых полей

 health status index               uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   company             KTngnM6ASD-_KdU0FFAWRA   1   0   96008284      3662063     33.6gb         33.6gb
 

Первые 20 потоков одновременно для увеличения индекса, 200 записей на поток, использовалось 2 дня, но не удалось обновить 31712850 записей,

 id: 20078928430 opType: UPDATE status: TOO_MANY_REQUESTS
 

затем обновил только для этих сбойных записей, и на этот раз использовал 10 потоков, но на этот раз все еще существует та же проблема, 103800 записей обновлены с ошибкой, затем нужно снова обновить эти записи.

Итак, хотите знать, как избежать проблемы, когда обновление многих записей между тем занимает меньше времени?

При интенсивной индексации вам может потребоваться оптимизировать скорость индексации и, возможно, сравнить с вашим кластером, чтобы определить оптимальный объемный размер и числа, зависящие от параллелизма, будут зависеть от конфигурации вашего кластера и сопоставления (некоторые функции, такие как n-граммы, имеют чрезвычайно большие накладные расходы при индексации). Также вы можете отслеживать использование пула потоков, чтобы обнаруживать проблемы на ранней стадии.