Блог

Главная - Вопросы по программированию - org.apache.spark.SparkException: недопустимый URL-адрес Spark: spark://HeartbeatReceiver@xxxx_LPT-324:51380 PySpark

org.apache.spark.SparkException: недопустимый URL-адрес Spark: spark://HeartbeatReceiver@xxxx_LPT-324:51380 PySpark

#apache-spark #pyspark

#apache-spark #pyspark

Вопрос:

Пытаюсь создать SparkConf с помощью PySpark, но получаю ошибку

Код

 from pyspark.python.pyspark.shell import spark
from pyspark import SparkConf, SparkContext
from pyspark.shell import sqlContext
from pyspark.sql import SparkSession
      
conf = SparkConf().setAppName("Test-1 ETL").setMaster("local[*]").set("spark.driver.host", "localhost").set("spark.sql.execution.arrow.pyspark.enabled", "true")
sc = SparkContext(conf=conf)

Ошибка

 org.apache.spark.SparkException: Invalid Spark URL: spark://HeartbeatReceiver@xxxx_LPT-324:51380

Я также установил set SPARK_LOCAL_HOSTNAME=localhost

Кто-нибудь, пожалуйста, может мне помочь?