#elasticsearch #elasticsearch-5
Вопрос:
У меня есть задача, в которой я должен проглотить 50 миллионов журналов. Я использую массовый API ES и могу проглотить только 60 тысяч за один раз. Для этого я использую Curl.
Вот все подробности:
curl -u prvn:prvn -H 'Content-Type: application/json' -XPOST localhost:9200/_bulk --data-binary @IltUId9adHYNO3wnqixVzaBulk.json
IltUId9adHYNO3wnqixVzaBulk.json файл содержит журналы в формате Bulk API.
Но вот в чем проблема. Когда я пытаюсь проглотить 70 тысяч журналов за один раз, то «НИЧЕГО» не происходит. Команда Curl завершается без каких-либо проблем, и журналы не попадают в систему.
Ответ №1:
Максимальный объем данных, который вы можете отправить за один раз, регулируется http.max_content_length настройками, по умолчанию равными 100 МБ. Таким образом, похоже, что 60 тысяч строк чуть ниже этого предела и 70 тысяч строк чуть выше него.
Вы можете либо увеличить лимит, что обычно не рекомендуется, либо просто отправлять партии по 60 тыс.