Блог

Главная - Вопросы по программированию - Какой самый стандартный / простой способ настроить filebeat, ELK для обычных текстовых журналов Java с форматом обратного входа, без изменения существующих приложений?

Какой самый стандартный / простой способ настроить filebeat, ELK для обычных текстовых журналов Java с форматом обратного входа, без изменения существующих приложений?

#java #spring-boot #elasticsearch #logback #filebeat

#java #spring-boot #elasticsearch #обратный вход #filebeat

Вопрос:

Мне нужно отправить в elasticsearch или logstash файлы текстовых журналов Spring-boot , имеющие logback формат, с помощью filebeat .
Вы знаете, что в этих журналах часто есть многострочные исключения, когда они возникают, как и во многих Java.

 2021-02-23 08:25:55.988  INFO 27940 --- [cast-exchange-0] o.a.s.sql.execution.FileSourceScanExec   : Planning scan with bin packing, max size: 4194304 bytes, open cost is considered as scanning 4194304 bytes.
2021-02-23 08:25:56.051  INFO 27940 --- [           main] o.a.s.s.c.e.codegen.CodeGenerator        : Code generated in 19.159775 ms
2021-02-23 08:25:56.078  INFO 27940 --- [           main] o.a.s.s.c.e.codegen.CodeGenerator        : Code generated in 20.223781 ms
2021-02-23 08:25:56.096  INFO 27940 --- [           main] o.a.s.s.c.e.codegen.CodeGenerator        : Code generated in 12.228878 ms
2021-02-23 08:25:56.179  INFO 27940 --- [cast-exchange-0] org.apache.spark.SparkContext            : Starting job: run at ThreadPoolExecutor.java:1128
2021-02-23 08:25:56.197  INFO 27940 --- [uler-event-loop] org.apache.spark.scheduler.DAGScheduler  : Got job 0 (run at ThreadPoolExecutor.java:1128) with 1 output partitions
2021-02-23 08:25:56.197  INFO 27940 --- [uler-event-loop] org.apache.spark.scheduler.DAGScheduler  : Final stage: ResultStage 0 (run at ThreadPoolExecutor.java:1128)
2021-02-23 08:25:56.198  INFO 27940 --- [uler-event-loop] org.apache.spark.scheduler.DAGScheduler  : Parents of final stage: List()
2021-02-23 08:25:56.199  INFO 27940 --- [uler-event-loop] org.apache.spark.scheduler.DAGScheduler  : Missing parents: List()
2021-02-23 08:25:56.202  INFO 27940 --- [uler-event-loop] org.apache.spark.scheduler.DAGScheduler  : Submitting ResultStage 0 (MapPartitionsRDD[3] at run at ThreadPoolExecutor.java:1128), which has no missing parents
2021-02-23 08:25:56.218  INFO 27940 --- [uler-event-loop] o.a.spark.storage.memory.MemoryStore     : Block broadcast_1 stored as values in memory (estimated size 14.3 KB, free 2.8 GB)
2021-02-23 08:25:56.221  INFO 27940 --- [uler-event-loop] o.a.spark.storage.memory.MemoryStore     : Block broadcast_1_piece0 stored as bytes in memory (estimated size 7.8 KB, free 2.8 GB)
2021-02-23 08:25:56.222  INFO 27940 --- [er-event-loop-2] o.apache.spark.storage.BlockManagerInfo  : Added broadcast_1_piece0 in memory on 192.168.0.12:42221 (size: 7.8 KB, free: 2.8 GB)

Через Интернет я нашел сообщения о попытках :

  1. для создания конкретной grok обработки их. Некоторые ищут специальный символ @ для обнаружения появления исключения.
  2. чтобы сгенерировать json файл журнала вместо обычного текстового файла, чтобы избежать проблемы.
    Но мой всегда будет в виде обычного текста. Некоторые из них уже существуют и пришли из прошлого.
  3. затем, кроме того, они модифицируют свое существующее приложение Spring-boot, изменяя, по крайней мере, его pom.xml .
    Мне тоже не разрешено этого делать. Я могу вмешаться в конфигурации elasticsearch, logstash, kibana и filebeat, но это все. Я не могу ввести исходный код всех существующих приложений, которые создают журналы.

Я нашел на веб-сайте elastic или grok пример настройки анализаторов nginx, tomcat logs, иногда только с помощью одной команды для их установки и запуска bash . Или что-то действительно простое в использовании.

Какой самый простой способ запустить синтаксический анализ с помощью elk amp; filebeat существующих файлов журналов, имеющих logback формат, без их изменения (сохраняя их в виде обычного текста, как они есть), с небольшой конфигурацией и без изменения самих приложений Spring-boot?