Блог

Главная - Вопросы по программированию - Logstash отображает странные символы на выходе

Logstash отображает странные символы на выходе

#apache-kafka #logstash #apache-kafka-streams

#apache-kafka #logstash #apache-kafka-streams

Вопрос:

При получении выходных данных из потока kafka logstash также отображает другие символы. (0018, 000000, 0002 и т. Д.)

Я попытался добавить key_deserializer_class в файл logstash conf, но это не очень помогло.

 input {
        kafka {
                bootstrap_servers => "broker1-kafka.net:9092"
                topics => ["TOPIC"]
                group_id => "T-group"
                jaas_path => "/opt/kafka_2.11-1.1.0/config/kafka_client_jaas.conf"
                key_deserializer_class => "org.apache.kafka.common.serialization.ByteArrayDeserializer"
                sasl_mechanism => "SCRAM-SHA-256"
                security_protocol => "SASL_PLAINTEXT"
        }
}
output { stdout { codec => rubydebug } }

Вывод

 {
    "@timestamp" => 2019-04-10T06:09:53.918Z,
       "message" => "(TOPICu0002U42019-04-10 06:09:47.01739142019-04-10T06:09:53.738000(00000021290065792800u0002u0004C1u0000u0000u0002u001EINC000014418569u0002u0010bppmUseru0002����vu0000u0002u0010bppmUseru0002֢��vu0002u0002u0002u0002.u0002u0018;1000012627;u0002<AGGAA5V0FEEW7APPOPCYPOR3RPPOLLu0000",
      "@version" => "1"
}

Есть ли какой-либо способ не получить эти символы в выходных данных.

Комментарии:

1. Вероятно, вам придется установить десериализатор для message поля? Я заметил, что вы установили для input > kafka десериализатора для ключа.

2. @MichaelG.Noll, я попытался добавить в него раздел ввода и раздел вывода logstash.conf по отдельности, но оба раза он отображался как неправильная конфигурация. Есть ли какой-либо конкретный способ установить десериализатор.

3. Извините, я не настолько знаком с logstash.