#apache-kafka #apache-kafka-connect
Вопрос:
Я использую несколько разъемов кафки. Но каждый соединитель записывает журнал в один и тот же файл connect.log. Но я хочу, чтобы соединители писали разные файлы журналов. Для этого во время запуска мне нужно изменить файл по умолчанию /etc/kafka/connect-log4j.properties. Но не в силах это изменить.
Пример Сценария Запуска:
/usr/bin/connect-standalone ../properties/sample-worker.properties ../properties/sample-connector.properties > /dev/null 2>amp;1 amp;
Есть ли способ изменить файл по умолчанию /etc/kafka/connect-log4j.properties во время запуска соединителей.
Ответ №1:
Кафка использует log4j и имеет переменную для его переопределения
export KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:///some/other/log4j.properties"
connect-standalone.sh ...
Как правило, было бы лучше использовать connect-distributed и использовать какой-либо инструмент агрегирования журналов, такой как стек ELK, для анализа событий журнала для разных соединителей
Комментарии:
1. Спасибо @OneCricketeer. Я проверю это в следующий понедельник. Да, ранее вы советовали мне использовать connect-distributed в производстве. И я убедил своих старших использовать kafka-connect в распределенном режиме в производстве. Наш продукт еще не запущен в производство. Мы собираемся использовать kafka-connect в распределенном режиме в производстве. Большое спасибо.