Блог

 java.lang.NullPointerException

at java.base/java.lang.Thread.run(Thread.java:829)
WARN MetricsSystem: Stopping a MetricsSystem that is not running
Exception in thread Thread-5:
Error
Traceback (most recent call last): File "/opt/conda/lib/python3.9/threading.py", line 973, in _bootstrap_inner self.run() File "/opt/conda/lib/python3.9/threading.py", line 910, in run self._target(*self._args, **self._kwargs) File "/home/jovyan/pySpark.py", line 23, in receive_stream sc = SparkContext(appName="StreamTwitter") File "/opt/conda/lib/python3.9/site-packages/pyspark/context.py", line 146, in __init__ self._do_init(master, appName, sparkHome, pyFiles, environment, batchSize, serializer, File "/opt/conda/lib/python3.9/site-packages/pyspark/context.py", line 209, in _do_init self._jsc = jsc or self._initialize_context(self._conf._jconf) File "/opt/conda/lib/python3.9/site-packages/pyspark/context.py", line 321, in _initialize_context return self._jvm.JavaSparkContext(jconf) File "/opt/conda/lib/python3.9/site-packages/py4j/java_gateway.py", line 1568, in __call__ return_value = get_return_value( File "/opt/conda/lib/python3.9/site-packages/py4j/protocol.py", line 326, in get_return_value raise Py4JJavaError( py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.

java.lang.AssertionError: assertion failed: Expected hostname or IPv6 IP enclosed in [] but got fddf:3978:feb1:d745:0:0:0:c001
at scala.Predef$.assert(Predef.scala:223)

at org.apache.spark.util.Utils$.checkHost(Utils.scala:1072)

 at org.apache.spark.executor.Executor.<init>(Executor.scala:89)
 

Я разрабатываю приложение с потоковым освещением в контейнере docker, которое использует pyspark в задней части, экземпляр docker отлично работает на моем компьютере, а приложение с потоковым освещением отображается на веб-сайте службы запуска Google, но оно зависает в середине процесса при инициализации экземпляра spark из-за ошибки выше, как я могу это исправить? Спасибо