Блог

Я получаю эту ошибку при запуске приложения spark в spark. Я использую Anaconda (Spyder) IDE. Я полностью разочарован, когда нахожу решение, но все равно не добился никакого успеха в этом.Пожалуйста, пожалуйста, помогите.Ранее я смог запустить spark с помощью приведенного ниже кода, но эта ошибка возникает за последние 2 дня

 spark = SparkSession 
        .builder 
        .appName("SSKafka") 
        .getOrCreate()
 

Я пробовал несколько вещей, таких как установка переменных окружения JAVA_HOME, SPARK_HOME, HADOOP_HOME, удаление / переустановка разных версий Spark, Anaconda, Java разных версий, перезагрузка ПК
Версия Spark: 2.4.1
Компьютер- windows
Anaconda Spyder с Python 2.7 и 3.5 оба пытались

 import os
import sys
#os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-sql-kafka-0-10_2.11-2.3.4'
os.environ['PYSPARK_SUBMIT_ARGS'] = "--master local[1] pyspark-shell"
os.environ['JAVA_HOME'] = "C:/Program Files/Java/jdk1.8.0_271"
os.environ['SPARK_HOME'] = "C:/spark-2.4.1-bin-hadoop2.7"
os.environ['HADOOP_HOME'] = "C:/spark-2.4.1-bin-hadoop2.7"

os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars C:/spark-2.4.1-bin-hadoop2.7/jars/spark-sql-kafka-0-10_2.11-2.4.1.jar pyspark-shell'
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars C:/spark-2.4.1-bin-hadoop2.7/jars/kafka-clients-2.6.0.jar pyspark-shell'

from ast import literal_eval

# initialize spark
import findspark
findspark.init()
findspark.find()

import pyspark
from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession


spark = SparkSession 
    .builder 
    .appName("SSKafka") 
    .getOrCreate()