#jenkins #kubernetes #apache-kafka #apache-kafka-connect
#дженкинс #kubernetes #apache-kafka #apache-kafka-connect
Вопрос:
Можно ли часто проверять, есть ли новые соединители, загруженные непосредственно в указанный путь плагина кластера Kafka Connect?
Чего я хочу добиться, так это загружать файлы jar-файлов соединителя непосредственно внутри модуля, не воссоздавая изображение и не повторно развертывая кластер connect каждый раз, когда у меня есть изменения в jar-файле соединителя. Я много тестировал и хочу сэкономить время, избегая повторного развертывания кластера и повторного создания образа каждый раз, когда у меня есть изменения.
Я пытаюсь отслеживать сценарии, которые могут происходить только в реальном кластере, а не в изолированной среде (локальный кластер docker-compose).
Комментарии:
1. Вы можете
volumeпереместить каталог плагина из окна docker внутрь. Это поможет избежать создания нового образа. После установки нового плагина необходимо перезапустить kafka-connect. Предполагается, что это делается внешним скриптом, который просматривает каталог, и как только появляется плагин, перезапускаетkafka connect
Ответ №1:
Если вы хотите получить новый подключаемый модуль connector, вам необходимо перезапустить рабочий модуль Kafka Connect.
Ответ №2:
Спасибо за ответы. В итоге я создал контейнер инициализации в кластере kafka connect, который загружает файлы jar из artifactory и сохраняет их в томе. Перестроение образа было устранено, поэтому мне просто нужно перезапустить кластер для внесения изменений.