#java #apache-spark #hadoop-yarn #spark-submit
#java #apache-spark #hadoop-yarn #spark-отправить
Вопрос:
У меня есть приложение Spark, написанное на Java, которое запускается каждый день. У меня есть требование выйти из программы (остановить приложение spark) на основе условия. В настоящее время я использую System.exit (0) для завершения работы приложения. Но я вижу, что статус приложения отображается как СБОЙ в пользовательском интерфейсе Yarn.
FinalStatus Reported by AM: FAILED
Внутренний код:
if(<some condition>){
System.exit(0);
}
Пожалуйста, предложите, как полностью остановить / завершить работу приложения spark внутри кода, где FinalStatus показывает «УСПЕХ».
Комментарии:
1. Вы ищете
spark.stop()?2. вы можете попробовать spark.stop, чтобы остановить базовый SparkContext …. но если spark начнет выполнять задание, мы не сможем обновить FinalStatus. Конечный статус всегда зависит от поведения отправленных вами задач… я предполагаю, что <некоторое условие> — это поиск некоторого определенного значения, если это так, то сохраните это значение в некоторой распределенной базе данных и получите к нему доступ во всех преобразованиях spark и явно проверьте это значение <если true, то ничего не делайте>.