Индексируйте полезную нагрузку json системного журнала в виде эластичных полей

#elasticsearch #syslog #fluentd

Вопрос:

Я получаю следующее сообщение журнала через системный журнал от одного из наших поставщиков SaaS

 1 2021-07-01T15:55:43.795Z saasproviderdomain.eu name - - - {"audit_event":"deleted_folder","remote_address":"12.34.56.65","client_version":" App.16.1.0","username":"me@there.com","folder_uid":"123431a4o0pAdfEEAu82mt1wfg","customer_id":4321}
 

Я индексирую его в elastic, но часть json индексируется как обычная строка, которую я не могу искать в elastic. Что мне нужно сделать, чтобы поля json были проиндексированы как обычные эластичные поля?

Кстати. Я использую fluentd для получения и анализа системных журналов:

 <source>
        @type syslog
        bind 111.11.11.111
        port 514
        protocol_type tcp
        <parse>
                @type regexp
                expression ^(?<pri>[0-9]{1,3})s(?<time>[^ ] )s(?<instance>[^ ] )s(?<source>[^ ] )s(?<u1>[^ ] )s(?<u2>[^ ] )s(?<u3>[^ ] )(?<msg>.*)$
                
                #expression ^(?<msg>.*)$
                time_format %Y-%m-%dT%H:%M:%S.%L%z
        </parse>
      tag sometag
</source>
 

Спасибо