Блог

Я настроил виртуальную среду внутри своего существующего кластера hadoop. Поскольку в текущем кластере нет spark >3 , я установил delta spark с помощью виртуальной среды. При попытке получить доступ к hdfs, который является kerberose, появляется ошибка ниже. Можете ли вы кто-нибудь помочь советом по этому поводу

Режим аутентификации клиента ПРОСТОЙ, механизм не поддерживается в зоне, Авторизация:kerberos_only

 from delta import *
    
builder = pyspark.sql.SparkSession.builder.appName("MyApp") 
   .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") 
   .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")
    
spark = configure_spark_with_delta_pip(builder).getOrCreate()
spark.read.parquet("hdfs/parquet_path")