Блог

Мы пытаемся подключиться к AWS ES через file beat, однако возникают следующие ошибки

 pipeline/output.go:100  Failed to connect to backoff(elasticsearch(https://xxx.us-east-1.es.amazonaws.com:443)): 
Connection marked as failed because the onConnect callback failed: 
cannot retrieve the elasticsearch license: unauthorized access, 
could not connect to the xpack endpoint, verify your credentials
 

и конфигурационный файл в виде

   filebeat.yml: |-
    filebeat.config:
      inputs:
        enabled: true
        path: ${path.config}/inputs.d/*.yml
        reload.enabled: true
        reload.period: 60s
      modules:
        enabled: true
        path: ${path.config}/modules.d/*.yml
        reload.enabled: true
        reload.period: 60s

    output.elasticsearch:
      protocol: "https"
      hosts: ["xxxx.us-east-1.es.amazonaws.com:443"]
      username: "user_id"
      password: "password"
      index: "test-log--%{ yyyy.MM.dd}"
    setup.template.name: "test-log"
    setup.template.pattern: "test-log-*"
    setup.ilm.enabled: false
 

Изображение окна настройки filebeat является docker.elastic.co/beats/filebeat:7.13.1

ES — версия сервиса Amazon Elasticsearch является 7.10

Может ли кто-нибудь помочь нам найти здесь неверную конфигурацию?

Спасибо

Здесь два вопроса

1. Для ударов 7.13

Возможно, Beats не отправляет данные в некоторые дистрибутивы Elasticsearchedit

мы можем использовать ту же версию filebeat-oss:7.10.2 , что и aws es 7.10.2

2. Настройки X-пакета, которые необходимо отключить.

 setup.ilm.enabled: false
setup.pack.security.enabled: false
setup.xpack.graph.enabled: false
setup.xpack.watcher.enabled: false
setup.xpack.monitoring.enabled: false
setup.xpack.reporting.enabled: false
 

Ссылка: https://aws.amazon.com/premiumsupport/knowledge-center/es-connect-filebeat-logstash-linux/