Блог

Я использую ./bin/spark-submit для запуска своего задания Spark. Он работает нормально, но, открыв Spark web UI, я не вижу задание в списке завершенных.

 ./bin/spark-submit --name "myapp" --master local --conf "spark.master=spark://fahad:7077" --class com.apptest.App ~/app-0.0.1-SNAPSHOT.jar
  

Примечание: версия Spark 2.0.1, запущен 1 рабочий, главный пользовательский localhost:8080 интерфейс как на рабочем, так и на главном запускался из ./sbin/start-*.sh скриптов.

Существует два разных пользовательского интерфейса: обычный пользовательский интерфейс Spark и сервер истории Spark.

Тот, который показывает задания после их завершения, — это сервер истории.

http://spark.apache.org/docs/latest/monitoring.html

В документах объясняется, что вам нужно запустить его, запустив:

 ./sbin/start-history-server.sh
  

Это создает веб-интерфейс в http://server-url:18080 по умолчанию
отображается список незавершенных и завершенных приложений и попыток.

При использовании класса поставщика файловой системы (см. spark.history.provider ниже) базовый каталог ведения журнала должен быть указан в параметре конфигурации spark.history.fs.logDirectory и должен содержать подкаталоги, каждый из которых представляет журналы событий приложения.

Сами задания spark должны быть настроены для регистрации событий и для их регистрации в том же общем каталоге, доступном для записи. Например, если сервер был настроен с каталогом журналов hdfs://namenode/ shared/spark-logs, тогда параметры на стороне клиента будут:

spark.EventLog.enabled true spark.EventLog.dir hdfs://namenode/shared/spark-logs