Блог

Главная - Вопросы по программированию - Можем ли мы загружать файлы журналов из поисковой системы Elastic?

Можем ли мы загружать файлы журналов из поисковой системы Elastic?

#elasticsearch #logging #kibana #visualization

#elasticsearch #ведение журнала #kibana #визуализация

Вопрос:

Мы планируем использовать поисковую систему elastic для индексации наших журналов в нашем кластере K8S. Нам известно, что с помощью Kibana мы можем просматривать журналы в графическом интерфейсе. Но если нам нужно передать журналы какой-либо удаленной команде, у которой нет доступа к Kibana, то как решить такой сценарий. Можем ли мы как-то загружать журналы из поисковой системы?

Ответ №1:

Если вы хотите вручную загрузить результаты запроса kibana в CSV, это возможно.

На странице результатов Kibana нажмите

Меню поделиться -> Поделиться этим поиском -> Отчеты CSV -> Создать CSV

Для создания CSV потребуется некоторое время. После завершения генерации CSV появится сообщение со ссылкой на CSV.

Ответ №2:

Вы всегда можете подключить любое приложение к Elasticsearch и собрать все данные в своих индексах. Поэтому, если другой команде потребуется доступ к журналам, вы можете создать доступ только для чтения к вашему elastic search и использовать журналы в этом приложении. Если вы хотите загрузить все, вы можете использовать api scoll. Здесь в примере реализации на JAVA

  1. https://www.elastic.co/guide/en/elasticsearch/client/java-rest/7.9/java-rest-high-search-scroll.html

  2. https://www.elastic.co/guide/en/elasticsearch/client/java-rest/7.9/java-rest-high-search-scroll.html

Комментарии:

1. Есть ли какое-либо доступное решение для того же, или мы должны создать собственное решение для загрузки журналов? Из предоставленного решения кажется, что мы должны создать наше собственное решение.

2. Я не тестировал никаких инструментов в последних версиях ES. но некоторые из них существуют: skedler.com/blog/… Logstash также является хорошим решением qbox.io/blog/how-to-export-data-elasticsearch-into-csv-file