#apache-spark #pyspark
Вопрос:
Я пытаюсь запустить PySpark с внешними пакетами maven в PyCharm. Я проверил в Интернете, как можно включить пакеты maven. Он просит включить пакеты в переменную PYSPARK_SUBMIT_ARGS env. Пожалуйста, расскажите, что такое «pyspark-оболочка» и почему она упоминается вместе с именем пакета ниже.
PYSPARK_SUBMIT_ARGS = ‘—пакеты com.базы данных:spark-xml_2.11:0.12.0 оболочка pyspark’