#apache-spark #sbt
#apache-spark #sbt
Вопрос:
Я пытаюсь выполнить сборку для простого приложения spark с использованием SBT
При выполнении сборки с использованием пакета sbt из каталога проекта он просто зависает на несколько минут, а затем я получил сообщение об ошибке ниже
n1@edge-node DEV $ pwd
/home/cloudera/test/spark/SimpleSpark
n1@edge-node DEV $ find .
.
./src
./src/main
./src/main/scala
./src/main/scala/SimpleSpark.scala
./build.sbt
n1@edge-node DEV $ sbt package
Getting org.scala-sbt sbt 0.13.8 ...
:: problems summary ::
:::: WARNINGS
module not found: org.scala-sbt#sbt;0.13.8
==== local: tried
/home/cloudera/.ivy2/local/org.scala-sbt/sbt/0.13.8/ivys/ivy.xml
-- artifact org.scala-sbt#sbt;0.13.8!sbt.jar:
/home/cloudera/.ivy2/local/org.scala-sbt/sbt/0.13.8/jars/sbt.jar
==== typesafe-ivy-releases: tried
https://repo.typesafe.com/typesafe/ivy-releases/org.scala- sbt/sbt/0.13.8/ivys/ivy.xml
Также я попытался установить версию sbt в своем кластере, и я получаю только сообщение ниже, после этого ничего не происходит
n1@edge-node DEV $ sbt --version
sbt launcher version 0.13.8
Я хотел бы знать, что здесь пошло не так.
Я новичок в sbt.
Может ли кто-нибудь помочь мне в этом?
Ответ №1:
Похоже, что есть несоответствие версий. Версия SBT, доступная на вашем рабочем столе, нуждается в обновлении. он ищет версию SBT 0.13.8. Пожалуйста, проверьте donwload include в вашем PATH, и это должно решить проблему.
Комментарии:
1. @ Bala: я попытался выполнить эту команду в своем кластере, и я получаю следующее сообщение: n1@edge-node DEV $ sbt -version Ожидает блокировки /home/cloudera/.sbt/boot/sbt.boot . блокировка должна быть доступна…
2. Это другая проблема, файл заблокирован, что означает, что какое-то другое приложение использует файл. Итак, вы можете проверить и перезапустить систему, если это возможно.
3. Да, после перезапуска я попытался указать n1 @edge-node DEV $ sbt —version sbt launcher версии 0.13.8, так что это означает, что sbt установлен в моем кластере, но все равно я получаю сообщение об ошибке при запуске пакета sbt