Вопрос

Как PySpark вызывает процесс UNIX для интерпретатора Python и настраивает среду Python, такую как переменные среды?

Управление пакетами Python содержит приведенный ниже код, указывающий переменную среды PYSPARK_PYTHON. Будет ли он передан рабочему узлу, и процесс *NIX для интерпретатора Python также будет иметь переменную среды PYSPARK_PYTHON?

 export PYSPARK_DRIVER_PYTHON=python # Do not set in cluster modes.
export PYSPARK_PYTHON=./environment/bin/python
spark-submit --archives pyspark_conda_env.tar.gz#environment app.py
 

Есть ли способ указать переменную среды PYTHONPATH для процесса интерпретатора Python, чтобы мы могли контролировать, где искать модули Python?

Как Spark executor на рабочих узлах взаимодействует с процессом интерпретатора Python? Существует ли конкретный протокол?

Похожие

• Внутренние устройства PySpark