Блог

Мне нужно запустить pyspark с помощью Jupyter notebook. (Я использую Windows 10)

Я попробовал это в приглашении Anaconda:

 pip install spark
pip install pyspark
SET PYSPARK_DRIVER_PYTHON=jupyter
SET PYSPARK_DRIVER_OPTS='notebook'
pyspark
  

И возвращает эту ошибку:

 Traceback (most recent call last):
  File "C:UsersUserAnaconda3Scriptsjupyter-script.py", line 10, in <module>
    sys.exit(main())
  File "C:UsersUserAnaconda3libsite-packagesjupyter_corecommand.py", line 247, in main
    command = _jupyter_abspath(subcommand)
  File "C:UsersUserAnaconda3libsite-packagesjupyter_corecommand.py", line 134, in _jupyter_abspath
    'Jupyter command `{}` not found.'.format(jupyter_subcommand)
Exception: Jupyter command `jupyter-C:UsersUserAnaconda3Scriptsfind_spark_home.py` not found.
The system cannot find the path specified.
The system cannot find the path specified.
  

Как я могу это решить?

Я полагаю, вы не работаете в Windows. Здесь есть очень хорошее руководство. Предполагая, что у вас все установлено, вам нужно отредактировать ваш ./bashrc из вашего домашнего каталога, используя что-то вроде:

 nano .bashrc
  

и добавление следующего:

 export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
export PYSPARK_PYTHON=python3
  

затем вам нужно применить изменения:

 source .bashrc
  

и затем, когда вы запускаете команду

 pyspark
  

Это должно сработать