Удаление Моментального Снимка Эластичного Поиска

#database #elasticsearch #elastic-stack #snapshot #elasticsearch-5

Вопрос:

У меня есть старый проект, в котором используется эластичный поиск версии 5.5. Проблема, с которой мы сейчас сталкиваемся, заключается в том, что ES быстрее потребляет огромное количество памяти. Я зарегистрировался на сервере и подтвердил, что данные в /var/data/elasticsearch действительно действительно огромны (например, 900 ГБ).

Я также заметил, что в этом каталоге находится куча снимков и мета-файлов (meta-xxxx.dat, snap-xxx.dat).

Просматривая веб-страницы, было упомянуто, что это моментальные снимки и файлы резервных копий, которые elasticsearch генерирует автоматически. Поскольку в Интернете имеется очень ограниченный ресурс, позволяющий узнать, как удалить или, по крайней мере, уменьшить его, я вместо этого снимаю свои запросы здесь.

  1. Безопасно ли удалять эти файлы (meta-xxx.dat и snap-xxx.dat)?
  2. Есть ли способ удалить их «способом эластичного поиска»?
  3. Каковы последствия их удаления?

Заранее благодарю вас!

Ответ №1:

НЕ удаляйте файлы непосредственно из файловой системы, это может вызвать серьезные проблемы с Elasticsearch и вашими данными. вы должны иметь возможность просматривать моментальные снимки и управлять ими с помощью соответствующего api ( GET _snapshot часть) — https://www.elastic.co/guide/en/elasticsearch/reference/5.5/modules-snapshots.html#_snapshot

удаление моментальных снимков с помощью api приведет к удалению базовых файлов и освобождению места на диске

кроме того, 5.5-это длинный EOL, и вам следует как можно скорее обновить его. в более поздних версиях было множество улучшений в отношении эффективности хранения

Комментарии:

1. Привет, Марк, спасибо, что заглянул. Я вижу и чувствую, что удалять напрямую действительно небезопасно, так как ES управляет этим сзади, и мы наверняка не знаем внутренних компонентов. Еще один быстрый вопрос, однако, если я удалю снимки (даже через API), как это повлияет? если я перезапущу сервер ES через некоторое время после удаления, я потеряю данные?

2. нет, это невозможно. все, что вы делаете, это удаляете резервные копии