#apache-spark
#apache-искра
Вопрос:
Согласно названию, я отправляю задание на отправку spark и получил ошибку ниже. Это прекрасно работает, если я запускаю клиент в режиме развертывания, но не в режиме кластера. У кого-нибудь может быть какой-нибудь опыт работы с этим?
Команда: ./spark-отправить —класс «LocalPi» —основная пряжа —кластер в режиме развертывания /tmp/movierecs_2.11-1.0.jar
(Я заметил, что он пытается загрузить этот zip-файл spark conf в hdfs)
Загрузка ресурса file:/tmp/spark-a9ec721a-2733-450c-a4df-95a4fb41a816/__spark_conf__8933063333289205256.zip -gt; hdfs://BDSSBX/пользователь/hdfs/.sparkStaging/application_1637812068012_0017/gt;spark_conf.zip
(Фактическая ошибка)
исключение java.io.FileNotFoundException: Файл не существует: hdfs://BDSSBX/user/hdfs/.sparkStaging/application_1637812068012_0017/spark_conf.zip