#windows #apache-spark #environment-variables
Вопрос:
Я установил java,scala,python,spark в Windows 10. winutils.exe файл находится в C:Hadoop Ниже приведены переменные, которые я настроил
Пользовательские переменные
HADOOP_HOME C:Hadoop
SCALA_HOME C:Program Files (x86)scala
JAVA_HOME C:Program FilesJavajdk-17
PYTHON_HOME C:UsersrajesPycharmProjects2021venvScripts
SPARK_HOME C:Spark1spark-3.0.3-bin-hadoop2.7
Пользовательские Переменные — Переменная ПУТИ Имеет значения ниже
C:Program Files (x86)scalabin
C:Program FilesJavajdk-17bin
C:UsersrajesPycharmProjects2021venvScripts
C:Spark1spark-3.0.3-bin-hadoop2.7bin
СИСТЕМНЫЕ ПЕРЕМЕННЫЕ
HADOOP_HOME C:Hadoop
SCALA_HOME C:Program Files (x86)scala
JAVA_HOME C:Program FilesJavajdk-17
PYTHON_HOME C:UsersrajesPycharmProjects2021venvScripts
SPARK_HOME C:Spark1spark-3.0.3-bin-hadoop2.7
СИСТЕМНЫЕ Переменные — Переменная ПУТИ Имеет значения ниже
%HADOOP_HOME%bin
%SCALA_HOME%bin
C:Program FilesJavajdk-17bin
%PYTHON_HOME%
%SPARK_HOME%bin
Пока я пытаюсь запустить spark-shell из командной строки, отображается сообщение «Система не может найти указанный путь».
Прилагаемый Скриншот .
Комментарии:
1. Spark не поддерживает Java 17, последний раз, когда я проверял, и вы не должны делать Python venv вашим системным Python. Кроме того, вам следует попробовать использовать Hadoop, поставляемый вместе со Spark, а не настраивать его отдельно
2. Спасибо вам за вашу помощь . Сейчас этот вопрос решен . Удалил все программное обеспечение и установил следующие версии C:ProgramDataOracleJavajavapathjava.exe C:jdkbinjava.exe C:Python27python.exe C:spark-2.2.0-bin-hadoop2.7 C:hadoopbinwinutils.exe Инструмент Pycharm : pycharm-сообщество-2021.2.2 Я создал java и jdk вне папки Program Files . Я создал java и разместил файлы JRE Я создал jdk и разместил файлы jdk Это решило проблему и смог подключиться к Apache spark в Windows 10