Невозможно выполнить сборку с использованием SBT для простого приложения spark

#apache-spark #sbt

#apache-spark #sbt

Вопрос:

Я пытаюсь выполнить сборку для простого приложения spark с использованием SBT

При выполнении сборки с использованием пакета sbt из каталога проекта он просто зависает на несколько минут, а затем я получил сообщение об ошибке ниже

 n1@edge-node DEV $ pwd
/home/cloudera/test/spark/SimpleSpark
n1@edge-node DEV $ find .
.
./src
./src/main
./src/main/scala
./src/main/scala/SimpleSpark.scala
./build.sbt
n1@edge-node DEV $ sbt package
Getting org.scala-sbt sbt 0.13.8 ...

:: problems summary ::
:::: WARNINGS
            module not found: org.scala-sbt#sbt;0.13.8

    ==== local: tried

      /home/cloudera/.ivy2/local/org.scala-sbt/sbt/0.13.8/ivys/ivy.xml

      -- artifact org.scala-sbt#sbt;0.13.8!sbt.jar:

      /home/cloudera/.ivy2/local/org.scala-sbt/sbt/0.13.8/jars/sbt.jar

    ==== typesafe-ivy-releases: tried

      https://repo.typesafe.com/typesafe/ivy-releases/org.scala-  sbt/sbt/0.13.8/ivys/ivy.xml
 

Также я попытался установить версию sbt в своем кластере, и я получаю только сообщение ниже, после этого ничего не происходит

 n1@edge-node DEV $ sbt --version
sbt launcher version 0.13.8
 

Я хотел бы знать, что здесь пошло не так.
Я новичок в sbt.
Может ли кто-нибудь помочь мне в этом?

Ответ №1:

Похоже, что есть несоответствие версий. Версия SBT, доступная на вашем рабочем столе, нуждается в обновлении. он ищет версию SBT 0.13.8. Пожалуйста, проверьте donwload include в вашем PATH, и это должно решить проблему.

Комментарии:

1. @ Bala: я попытался выполнить эту команду в своем кластере, и я получаю следующее сообщение: n1@edge-node DEV $ sbt -version Ожидает блокировки /home/cloudera/.sbt/boot/sbt.boot . блокировка должна быть доступна…

2. Это другая проблема, файл заблокирован, что означает, что какое-то другое приложение использует файл. Итак, вы можете проверить и перезапустить систему, если это возможно.

3. Да, после перезапуска я попытался указать n1 @edge-node DEV $ sbt —version sbt launcher версии 0.13.8, так что это означает, что sbt установлен в моем кластере, но все равно я получаю сообщение об ошибке при запуске пакета sbt