#apache-spark #pyspark #jupyter-notebook
Вопрос:
Как получить индикатор выполнения консоли «Этап» в ноутбуке Jupyter?
Индикатор выполнения отображался ранее, но почему — то не отображается сейчас. Я тоже не мог связать это с расширением Nb.
Дайте мне знать, если есть какая-либо конфигурация, доступная для его повторного включения.
[Stage X:==========> (A B) / C]
Ответ №1:
Установить spark.ui.showConsoleProgress в True docs
Комментарии:
1. Флаг был включен, и индикатор выполнения был показан один раз. Он отключился сам по себе. Может быть, что-то перекрывает?
2. да, возможно, это зависит от вашей текущей системы, кто и что может контролировать и изменять эти настройки (
spark-defaults.confконфигурации HDP и т. Д.). Но технически вы можете переопределить его повторно на уровне приложения.