Блог

Главная - Вопросы по программированию - Как настроить Fluentd forwarder для потоковой передачи журналов в loadbalancer, подключенный к экземпляру EC2

Как настроить Fluentd forwarder для потоковой передачи журналов в loadbalancer, подключенный к экземпляру EC2

#amazon-web-services #fluentd #aws-load-balancer

#amazon-web-services #fluentd #aws-балансировщик нагрузки

Вопрос:

В настоящее время я запустил экземпляр EC2 с установленным Fluentd и использую in_forward плагин ввода для получения журналов от других служб. С другой стороны, служба будет отправлять журналы в out_forward модуль вывода с буферизацией экземпляра EC2. Для повышения безопасности я хотел бы создать loadbalancer перед экземпляром EC2, как мне изменить fluentd.conf?Должен ли я просто заменить IP-адрес экземпляра EC2 на IP-адрес loadbalancer, или требуется другая конфигурация?Спасибо!

Мой текущий fluentd.conf

Переадресатор

 # fluentd/conf/fluent.conf
<source>
  @type forward
  port 24224
  bind 0.0.0.0
</source>

<match *.**>
    @type forward
    transport tls
    tls_cert_path /path/to/fluentd.crt
    tls_verify hostname false
    <server>
        host <EC2_instane_IP>
        port 24224
    </server>
</match>

Приемник

   <source>
    @type forward
    port 24224
    bind "0.0.0.0"
    <transport tls>
      cert_path "/path/to/fluentd.crt"
      private_key_path "/path/to/fluentd.key"
    </transport>
  </source>
  <match *.**>
    type elasticsearch
    host "localhost"
    port 9200
    index_name "app"
    type_name "log"
    include_tag_key true
    tag_key "@log_name"
    logstash_format true
    flush_interval 10s
    <buffer>
      flush_interval 10s
    </buffer>
  </match>

Комментарии:

1. Вы можете настроить LB, и ваш экземпляр EC2 будет его серверной частью. fluentd будет отправлять журналы в LB; и LB будет пересылать журналы на свой серверный сервер. Итак, вам нужно настроить IP-адрес и порт LB в fluentd конфигурации, а остальное должно работать, если инфраструктура настроена правильно.

Ответ №1:

@jenny ваши конфигурации не должны сильно меняться. В качестве хоста переадресаторы будут использовать <Load_Balancer_DNS_Name> . Вам нужно будет настроить балансировщик нагрузки в AWS с прослушивателем на 24224, который перенаправляет трафик целевой группе, состоящей из ваших экземпляров ec2.