Проблема с доступом к пользовательскому интерфейсу Spark с помощью Pyspark на YARN через WSL (v1)

#networking #pyspark #port #hadoop-yarn #windows-subsystem-for-linux

#сеть #pyspark #порт #hadoop-yarn #windows-subsystem-for-linux

Вопрос:

У меня установлена система Ubuntu 18.014 WSL для тестирования функций spark.

pyspark — 3.0.1 (PyPI) Hadoop — 3.2.1 Hive — 3.1.2

Я могу запустить spark локально и открыть пользовательский интерфейс Spark (localhost: 4040) просто отлично.

 pyspark --master local[*]
  

Но если я использую режим клиента YARN,

 pyspark --master YARN --num-executors
  

и попробуйте получить доступ к Spark UI — видны следующие ошибки:

 1. When typing localhost:4040
Result - It opens "http://"WindowsHostname".localdomain:8088/proxy/application_1601537044940_0003/"
  

ЧТО выдает ошибку.

 "WindowsHostname".localdomain’s server IP address could not be found.

2. If I manually change the URL part from http://"WindowsHostname".localdomain to localhost:

localhost:8088/proxy/application_1601537044940_0003/
  

Я попадаю на страницу ошибки:

 HTTP ERROR 500
Problem accessing /proxy/application_1601537044940_0003/. Reason:

Server Error
Caused by:
java.net.SocketException: Network is unreachable (connect failed)
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:607).....so on
  

Похоже, что WSL не получает сетевой доступ к порту «прокси» YARN.

Вопрос. Могу ли я каким-либо образом предоставить WSL необходимые ссылки на порт, определенный YARN?

Вопрос. Могу ли я предоставить доступ к http: //»WindowsHostname».localdomain в WSL? или сопоставьте http: //»WindowsHostname».localdomain к localhost.

Любая помощь будет оценена. Спасибо.