Задание Druid Mapreduce отсутствует на панели управления Google Dataproc

#google-cloud-dataproc

#google-облако-dataproc

Вопрос:

Я объясню свою ситуацию. У меня есть встроенный Apache Druid, мне удалось разрешить Druid выполнить задание приема Hadoop (Mapreduce) в кластере Dataproc. Задание выполняется нормально, но проблема не видна на панели управления Dataproc.

Примечание: Единственное соединение между кластером Dataproc и Druid — это VPN-соединение между главным узлом и кластером Druid.

Ответ №1:

Если вы отправляете задание MapReduce не через API Dataproc, а другими способами, например, напрямую в YARN, оно не будет доступно на панели управления Dataproc. Но в этом случае вы должны иметь возможность просматривать задания через пользовательский интерфейс YARN resource manager в Component Gateway.

Комментарии:

1. Верно. Я вижу задание в веб-интерфейсе Yarn.