#networking #pyspark #port #hadoop-yarn #windows-subsystem-for-linux
#сеть #pyspark #порт #hadoop-yarn #windows-subsystem-for-linux
Вопрос:
У меня установлена система Ubuntu 18.014 WSL для тестирования функций spark.
pyspark — 3.0.1 (PyPI) Hadoop — 3.2.1 Hive — 3.1.2
Я могу запустить spark локально и открыть пользовательский интерфейс Spark (localhost: 4040) просто отлично.
pyspark --master local[*]
Но если я использую режим клиента YARN,
pyspark --master YARN --num-executors
и попробуйте получить доступ к Spark UI — видны следующие ошибки:
1. When typing localhost:4040
Result - It opens "http://"WindowsHostname".localdomain:8088/proxy/application_1601537044940_0003/"
ЧТО выдает ошибку.
"WindowsHostname".localdomain’s server IP address could not be found.
2. If I manually change the URL part from http://"WindowsHostname".localdomain to localhost:
localhost:8088/proxy/application_1601537044940_0003/
Я попадаю на страницу ошибки:
HTTP ERROR 500
Problem accessing /proxy/application_1601537044940_0003/. Reason:
Server Error
Caused by:
java.net.SocketException: Network is unreachable (connect failed)
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:607).....so on
Похоже, что WSL не получает сетевой доступ к порту «прокси» YARN.
Вопрос. Могу ли я каким-либо образом предоставить WSL необходимые ссылки на порт, определенный YARN?
Вопрос. Могу ли я предоставить доступ к http: //»WindowsHostname».localdomain в WSL? или сопоставьте http: //»WindowsHostname».localdomain к localhost.
Любая помощь будет оценена. Спасибо.