Блог

Главная - Вопросы по программированию - NoClassDefFoundError: org/apache/spark/AccumulatorParam с механизмом выполнения spark в улье

NoClassDefFoundError: org/apache/spark/AccumulatorParam с механизмом выполнения spark в улье

#apache-spark #hadoop #hive

Вопрос:

Попытка использовать SPARK в качестве механизма выполнения улья, ошибка ниже

 Job failed with java.lang.ClassNotFoundException: org.apache.spark.AccumulatorParam
FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. java.lang.NoClassDefFoundError: org/apache/spark/AccumulatorParam
    at org.apache.hive.spark.counter.SparkCounterGroup.createCounter(SparkCounterGroup.java:52)
    at org.apache.hive.spark.counter.SparkCounters.createCounter(SparkCounters.java:71)
    at org.apache.hive.spark.counter.SparkCounters.createCounter(SparkCounters.java:67)
    at org.apache.hadoop.hive.ql.exec.spark.RemoteHiveSparkClient$JobStatusJob.call(RemoteHiveSparkClient.java:337)
    at org.apache.hive.spark.client.RemoteDriver$JobWrapper.call(RemoteDriver.java:358)
    at org.apache.hive.spark.client.RemoteDriver$JobWrapper.call(RemoteDriver.java:323)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.AccumulatorParam
    at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 10 more
  • Версии Spark : 3.1.1
  • Версия улья : 3.1.2 (также пробовал с — version2.3.8, но получил ту же ошибку)
  • Версия Hadoop : 3.3.0

    • Комментарии:

    1. Держите улей 3.1.2, просто используйте Spark 2.3.4. Я попробовал Spark 3.1.1 и 2.4.8 с тем же результатом, но Улей 3.1.2 и Spark 2.3.4 сделали свое дело… Так что вы, возможно, захотите попробовать то же самое. Тем не менее, я не могу ответить, где находится информация, показывающая совместимость этих компонентов.

    2. Спасибо.. Снижение версии Spark до 2.4 устраняет эту ошибку..

    3. @Kaustuv У меня та же проблема, но понижение рейтинга spark не решило мою проблему. Теперь это вызвано: java.lang. Исключение ClassNotFoundException: org.apache.hive.spark.counter. Счетчики искр. У тебя есть какие-нибудь идеи?

    4. Проверьте совместимость вашего улья с искрой. обратитесь к этому cwiki.apache.org/confluence/display/Hive/…

    Метки: