#apache-spark #hadoop #spark-streaming #hadoop-yarn
Вопрос:
Я развернул кластер spark и отправил обработку spark с помощью диспетчера ресурсов yarn. Мой кластер отлично работает с настройками hdfs (hadoop), но сталкивается с проблемой, связанной с этапированием spark, когда я запускаю отправку spark, ниже экрана ошибок, в котором я застрял. введите описание изображения здесь
Из того места, где spark выполняет этот файл jar, я также добавляю jar в каталог spark jars.
Комментарии:
1. Вашему приложению требуется commons-io в комплекте как часть его собственной банки. Не копируйте банки зависимостей в кластере
2. В каталоге spark jar существует так много общих банок ввода-вывода, но он не может выбрать форму там, почему ?
3. Я не говорю ни о каком каталоге Spark. Вам нужно создать «uber jar» для вашего собственного приложения
4. Это действительно полезно, когда сообщение об ошибке вводится в вопрос вместо снимка экрана. Вы можете получить больше ответов, если в вопрос встроено сообщение об ошибке.