#apache-spark #pyspark #spark-submit #livy
Вопрос:
Когда я выполняю отправку livy с приведенным ниже кодом, отправка spark происходит через класс PythonRunner. как происходит отправка с классом PythonRunner(org.apache.spark.deploy.PythonRunner) вместо org.apache.spark.deploy.Искровая субмарина ?
Code : { "jars": ["jarpath/sparkpi.jar"], "pyFiles": ["scriptpath/module.zip"], "file": ["test1.py"] } Команда истории Spark : org.apache.spark.deploy.yarn.Мастер приложений —класс org.apache.spark.deploy.PythonRunner —основной файл py test1.py