Блог

Я изменил образец приложения с разделением потока данных на разделы-пакетное задание, чтобы развернуть его в кластере kubernetes через сервер SCDF, который работает внутри кластера.

Возможность запуска задачи через пользовательский интерфейс панели инструментов SCDF без проблем. Однако свойства средства развертывания, которые я установил при запуске задачи, не применяются, когда рабочие модули / контейнеры создаются на основном шаге. В моем случае я устанавливаю imagePullPolicy и volumes / volumeMounts, указав свойства deployer.partitioned-batch-job.kubernetes.[PropertyName] , как описано здесь . Все эти свойства используются при создании главного модуля / контейнера, но не рабочих модулей, где мне действительно нужны эти объемы для обработки файлов. Разве это не ожидаемое поведение, когда рабочие модули запускаются с теми же свойствами, которые указаны при запуске задачи?

Любые мысли о том, как я могу установить свойства deployer, которые применяются при создании рабочих модулей (либо во время запуска задачи, либо в коде основного шага). Я также попытался установить их на уровне сервера SCDF для всех приложений (путем изменения карты конфигурации SCDF), но все равно вижу то же поведение (т.е. эти настройки применяются к главному модулю, но у созданных рабочих модулей эти свойства не применяются).

Кластер представляет собой baremetal, работающий на виртуальных машинах Ubuntu-20.04 на моем локальном компьютере. Спасибо.