#geomesa
#геомеза
Вопрос:
Я пытаюсь установить geomesa для pyspark и при инициализации получаю ошибку
команда: geomesa_pyspark.init_sql(spark)
~/opt/anaconda3/envs/geomesa-pyspark/lib/python3.7/site-packages/geomesa_pyspark/__init__.py in init_sql(spark) 113 114 def init_sql(spark): --gt; 115 spark._jvm.org.apache.spark.sql.SQLTypes.init(spark._jwrapped) TypeError: 'JavaPackage' object is not callable
Я использовал приведенный ниже код для установки:
pyspark == 2.4.8 geomesa_pyspark using https://repo.eclipse.org/content/repositories/geomesa-releases/org/locationtech/geomesa/ geomesa_pyspark-2.4.0.tar.gz geomesa-accumulo-spark-runtime_2.11-2.4.0.jar python 3.7
import geomesa_pyspark conf = geomesa_pyspark.configure( jars=['./jars/geomesa-accumulo-spark-runtime_2.11-2.4.0.jar', './jars/postgresql-42.3.1.jar', './jars/geomesa-spark-sql_2.11-2.4.0.jar'], packages=['geomesa_pyspark','pytz'], spark_home='/Users/user/opt/anaconda3/envs/geomesa-pyspark/lib/python3.7/site-packages/pyspark'). setAppName('MyTestApp') spark = ( SparkSession .builder .config(conf=conf) .config('spark.driver.memory', '15g') .config('spark.executor.memory', '15g') .config('spark.default.parallelism', '10') .config('spark.sql.shuffle.partitions', '10') .master("local") .getOrCreate() )
Комментарии:
1. в состоянии решить эту проблему
Ответ №1:
Я заменил
jars=['./jars/geomesa-accumulo-spark-runtime_2.11-2.4.0.jar', './jars/postgresql-42.3.1.jar', './jars/geomesa-spark-sql_2.11-2.4.0.jar'],
Для
jars=['./jars/geomesa-accumulo-spark-runtime_2.11-2.4.0.jar'],
А для postgresql я прошел .option("driver", "org.postgresql.Driver")
при загрузке данных через pyspark, что устранило проблему