Блог

Я написал пример с spark maven поддержкой Intelligent IDEA . spark Версия 2.0.0, hadoop версия 2.7.3, scala версия 2.11.8. Окружающая среда в системе и IDE — одна и та же версия. Затем приложение запускается с ошибкой:

Исключение в потоке «main» java.lang.Nosuchmetoderror: scala.Predef$.$scope()Lscala/xml/TopScope$ ; в org.apache.spark.ui.jobs.StagePage .(StagePage.scala: 44) в org.apache.spark.ui.jobs.StagesTab .(StagesTab.scala: 34) в org.apache.spark.ui.SparkUI .(SparkUI.scala: 62) в org.apache.spark.ui.SparkUI$.create(SparkUI.scala:215) org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:157) org.apache.spark.SparkContext.<init>(SparkContext.scala:443) org.apache.spark.SparkContext.<init>(SparkContext.scala:149) org.apache.spark.SparkContext.<init>(SparkContext.scala:185) org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:92) com.spark.test.WordCountTest.main(WordCountTest.java:25) . в . в . в . в . в . в . в . в . в . в . в. в sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) java.lang.reflect.Method.invoke(Method.java:606) com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)

Сборка Spark 2.0.0 с использованием scala 2.10, вы должны добавить scala 2.10 в качестве поддержки фреймворка

Обновите pom.xml с scala 2.11.8 помощью .
Смотрите документацию по загрузке spark для совместимости версий.