#scala #apache-spark #sbt-assembly
Вопрос:
У меня есть проект scala-spark, и я создал толстую банку с использованием сборки sbt. Ошибка возникла, когда я попытался запустить jar, «Исключение в потоке «основной» java.lang.Исключение ClassNotFoundException: Не удалось найти источник данных: json. Пожалуйста, найдите пакеты по адресу http://spark.apache.org/third-party-projects.html». Я добавил этот блок кода для сборки.sbt;
assemblyMergeStrategy in assembly := {
case "META-INF/services/org.apache.spark.sql.sources.DataSourceRegister" => MergeStrategy.concat
case PathList("META-INF", xs @ _*) => MergeStrategy.discard
case x => MergeStrategy.first
}
Это не сработало, я был бы очень благодарен за любую помощь
С уважением
Комментарии:
1. Я сталкиваюсь с аналогичной проблемой. Он отлично работает, когда я выполняю его из IDE (IntelliJ), но когда я создаю fat jar и запускаю приложение с помощью командной строки, я получаю это исключение.