при попытке выполнить массовую вставку в эластичном поиске. я получаю ошибку 403?

#python #python-3.x #elasticsearch #elasticsearch-5

#python #python-3.x #elasticsearch #elasticsearch-5

Вопрос:

когда я пытаюсь выполнить массовое обновление с помощью эластичного поиска , некоторое время я получаю ошибку 403 даже для меньшего объема данных. почему это происходит

 AuthorizationException(403, '403 Request throttled due to too many requests /_bulk')
  

Ответ №1:

Согласно документации AWS Elasticsearch:

Если вы получаете постоянный запрос 403, который регулируется из-за слишком большого количества ошибок запросов, рассмотрите возможность масштабирования по вертикали. Служба Amazon Elasticsearch регулирует запросы, если полезная нагрузка приведет к тому, что использование памяти превысит максимальный размер кучи Java.

Итак, вы можете либо отправлять меньше данных, либо с меньшей частотой, либо добавлять новые узлы.

Комментарии:

1. Спасибо, хотя масштабирование по вертикали означает изменение размера узлов, а не добавление большего

2. @StuartClark Существует ограничение на вертикальное масштабирование, поскольку куча ES не должна превышать ~ 32 ГБ, поэтому горизонтальное масштабирование намного более гибкое и позволяет вам расти дальше .