Блог

Главная - Вопросы по программированию - pyspark; Не удается создать экземпляр org.apache.hadoop.hive.ql.метаданных.SessionHiveMetaStoreClient;’

pyspark; Не удается создать экземпляр org.apache.hadoop.hive.ql.метаданных.SessionHiveMetaStoreClient;’

#apache-spark #hadoop #hive

#apache-spark #hadoop #улей

Вопрос:

Я пытаюсь настроить spark с помощью hive meta store для доступа к таблицам hive из spark.

Когда я переместил hive.site.xml в spark_home / conf я получаю ошибки. в spark, когда я пытался прочитать данные из таблиц hive. и та же ошибка, когда я попытался выполнить простой запрос select в оболочке hive.

ошибка, которую я получаю, приведена ниже.

для hive

 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

для spark

 pyspark.sql.utils.AnalysisException: 'java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;'

Комментарии:

1. Я предполагаю, что под этим общим сообщением об ошибке отображается стек ошибок из 200 строк. Вот где вы найдете точную проблему.

2. И если клиент Hive не может подключиться к своему собственному хранилищу метафор, то это не проблема Spark. Либо вы hiive-site.xml облажались, либо служба хранилища метафор не работает (если вы действительно используете глобальную службу, а не режим «встроенный в каждого клиента») , либо серверная база данных не работает (если вы действительно используете реальную базу данных, а не макет Derby) и т. Д