Блог

Главная - Вопросы по программированию - Подсчет очков с помощью MOJO в pyspark / jupyter env

Подсчет очков с помощью MOJO в pyspark / jupyter env

#pyspark #jupyter-notebook #mojo

#pyspark #jupyter-записная книжка #mojo

Вопрос:

Я хотел бы оценить конвейер входящих данных в Pyspark / Jupyter notebook с помощью объекта mojo от H2O.

 from pyspark.sql import SparkSession
spark = SparkSession.builder 
                    .config("spark.executor.extraClassPath","/path/h2o-genmodel.jar") 
                    .config("spark.driver.extraClassPath","/path/h2o-genmodel.jar") 
                    .config("spark.jars","/path/h2o-genmodel.jar")
MojoModel = spark._jvm.hex.genmodel.MojoModel
EasyPredictModelWrapper = spark._jvm.hex.genmodel.easy.EasyPredictModelWrapper
RowData = spark._jvm.hex.genmodel.easy.Rowdata
mojo = MojoModel.load("mojo_path")

когда я запускаю:

 print(spark._jvm.hex.genmodel.MojoModel)

Я получаю «py4j.java_gateway.Объект JavaPackage в 0x7fb8ac768d30 «. Говорит ли это мне о том, что пакет был успешно загружен и просмотрен spark?

Однако команда 

 mojo = MojoModel.load("mojo_path")

выдает «TypeError: объект ‘JavaPackage’ не вызывается».

Пожалуйста, сообщите о других зависимостях или настройках конфигурации. Выбранные мной настройки конфигурации основаны на нескольких других тикетах stackoverflow.