ipython не распознается как внутренняя или внешняя команда (pyspark)

#python #ipython

#python #hadoop #apache-spark #pyspark

Вопрос:

Я установил spark релиз : spark-2.2.0-bin-hadoop2.7 .

Я использую Windows 10 ОС

Моя версия Java 1.8.0_144

Я установил свои переменные среды:

 SPARK_HOME D:spark-2.2.0-bin-hadoop2.7

HADOOP_HOME D:Hadoop ( where I put binwinutils.exe )

PYSPARK_DRIVER_PYTHON ipython

PYSPARK_DRIVER_PYTHON_OPTS notebook

Путь D:spark-2.2.0-bin-hadoop2.7bin

При запуске pyspark из командной строки у меня возникает эта ошибка:

 ipython is not recognized as an internal or external command

Я также попытался установить PYSPARK_DRIVER_PYTHON , jupyter но выдает ту же ошибку (не распознается как внутренняя или внешняя команда).

Любая помощь, пожалуйста?

Ответ №1:

Найдите на своем компьютере приложение ipython, в моем случае оно находится в «c:Anaconda3Scripts «. Затем просто добавьте этот путь к переменным среды PATH

Ответ №2:

В Windows 10 с установленной Anaconda, пожалуйста, используйте приглашение Anaconda вместо windows cmd и запустите jupyter notebook, используя приведенную ниже команду

   pyspark --master local[2]

Пожалуйста, убедитесь, что все конфигурации, упомянутые в вопросе, выполнены.

Ответ №3:

В Windows 10 я решил проблему, добавив путь вручную в Anaconda — Windows Powershell:

$env:Path = ";pathtosparkbin"

другие команды, такие как «setx» или другие команды, у меня не работали.

РЕДАКТИРОВАТЬ: каждый раз, когда я запускаю приглашение Anaconda, мне нужно снова запустить приведенную выше команду. Как только мне удастся сделать это решение «окончательным», я отредактирую свой ответ. Наконец, мне нужно также добавить Path к scala, чтобы заставить его работать с Jupyter Notebook, со следующим:

$env:Path = ";C:Program Files (x86)scalabin"