Как использовать dolphinscheduler с AWS EMR

#apache-flink #amazon-emr

#apache-flink #amazon-emr

Вопрос:

Мы установили Dolphinscheduler 1.3 на кластер из 2 экземпляров ec2. Мы хотели бы запустить запланированное задание flink.

У нас есть кластер AWS EMR, и на нем работает Flink.

Как я могу заставить DS управлять заданиями в кластере EMR? Единственная рабочая группа, которую я вижу в DS, — это рабочая группа «по умолчанию», которая содержит 2 экземпляра, на которые мы установили DS.

Ответ №1:

вы можете настроить рабочие группы в conf/worker.properties,

 worker.groups=default,wokergroup1,workergroup2,xxx,...
 

затем перезапустите процесс рабочего сервера

если ваша конфигурация работает, вы увидите имена всех рабочих групп в пользовательском интерфейсе: изображение всех имен рабочих групп

Комментарии:

1. привет, @swagrov, ты решил свою проблему? Сообщество DolphinScheduler имеет канал slack, вы также можете задавать вопросы: s.apache.org/dolphinscheduler-slack