Пользовательский интерфейс Resource Manager на 8088 не работает при использовании кластера с обработкой данных с использованием kerberized

#apache-spark #hadoop #kerberos #google-cloud-dataproc

# #apache-spark #hadoop #kerberos #google-cloud-dataproc

Вопрос:

Привет, я создал кластер обработки данных с помощью команды gcloud, упомянутой ниже —

 gcloud dataproc clusters create spark-kerberos --region=us-central1 --zone us-central1-c --master-machine-type custom-4-15360 --master-boot-disk-size 200 --num-workers 2 --worker-machine-type custom-2-7680 --worker-boot-disk-size 200 --image-version 1.4-debian10 --scopes 'https://www.googleapis.com/auth/cloud-platform' --properties "dataproc:kerberos.beta.automatic-config.enable=true" --project $PROJECT_NAME

Я включил автоматический kerberos в этом кластере. Все службы также выполняются при проверке через JPS.

 root@spark-kerberos-m:~# jps
3841 ApplicationHistoryServer
5761 JobHistoryServer
4402 NameNode
3842 ResourceManager
5875 HistoryServer
12276 Jps
646 AgentMain
4059 RunJar
4908 SecondaryNameNode
6318 RunJar
root@spark-kerberos-m:~#

Теперь проблема связана с пользовательским интерфейсом Resource Manager. Я не могу получить доступ к пользовательскому интерфейсу на порту 8088. Между тем, пользовательский интерфейс может быть доступен при создании кластера без добавления kereberos.

1. Как вы получили доступ к пользовательскому интерфейсу YARN RM? В чем была ошибка?

2. Я пытаюсь получить доступ с помощью URI — MasterIP:port в браузере Chrome. И я получаю « Этот сайт недоступен $IP отказано в подключении. `Тем временем доступен пользовательский интерфейс сервера Spark history.

3. Вы пробовали cloud.google.com/dataproc/docs/concepts/accessing /… ?

Ответ №1:

В кластере с обработкой данных с использованием Kerberized пользовательский интерфейс RM работает на порту HTTPS 8090