Блог

Я отправляю задание Spark в кластере EMR и хочу увидеть веб-интерфейс Spark, который предоставляет информацию о конфигурации и состоянии главного узла, а также рабочего узла.

Сведения о конфигурации:
: Ярлыквыпуска emr-5.17.0
: Приложения SPARK 2.3.1

После запуска кластера единственной доступной ссылкой является «Включить веб-подключение» на странице «Подключения в сводке» кластера.

Вариант 1: Я попытался выполнить шаги, упомянутые в разделе «Включить веб-подключение», но это не сработало.

Вариант 2: Я попытался настроить SSH-туннель для главного узла с использованием локальной переадресации портов в Linuxhttps://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ssh-tunnel-local.html. Мне все еще не удавалось открыть Sark UI или веб-интерфейс Resource Manager.

Вариант 3: Я попробовал использовать вариант 2 Настройка Foxy Proxy для Firefox (https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-proxy.html ) и все еще пытается открыть веб-интерфейсы, введя master-public-dns, за которым следует номер порта или URL (https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-web-interfaces.html )

Может кто-нибудь, пожалуйста, рассказать мне пошаговый процесс, как я могу правильно включить веб-интерфейс и просмотреть мониторинг приложений Spark?

PS: Я использую Linux (Ubuntu) и веб-браузер в качестве Firefox

Нет необходимости выполнять какие-либо подобные операции, просто попробуйте получить URI главного узла. По умолчанию номер порта Spark UI равен 4040.

Вы также можете получить эту информацию из файла конфигурации spark.

ЧТОБЫ открыть пользовательский интерфейс spark:http://driver-node:4040 вышесказанное будет работать, и это также зависит от разрешения, поэтому, если у вас есть, вы можете увидеть пользовательский интерфейс.

Если вы делаете это на своей работе, я предполагаю, что у вашей работы есть ограничения по портам для вашего AWS VPC. Но для работы SSH-туннеля вам нужно, по крайней мере, открыть порт 22 через брандмауэр. Вы можете проверить это, подключившись к главному узлу EMR через SSH. Если вы можете это сделать, значит, порт 22 открыт. Затем вы можете следовать варианту 2 как части 1, так и части 2, и у вас должна быть возможность подключиться.

https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ssh-tunnel.html ?Короткий путь = true

также иногда основное DNS-имя, указанное на странице EMR, может не работать. Вместо этого используйте реальный IP-адрес xx.xx.xx.xx: 4040 или 8088 и т.д.