Блог

Я пытаюсь установить geomesa для pyspark и при инициализации получаю ошибку

команда: geomesa_pyspark.init_sql(spark)

 ~/opt/anaconda3/envs/geomesa-pyspark/lib/python3.7/site-packages/geomesa_pyspark/__init__.py in init_sql(spark)  113   114 def init_sql(spark): --gt; 115 spark._jvm.org.apache.spark.sql.SQLTypes.init(spark._jwrapped)  TypeError: 'JavaPackage' object is not callable  

Я использовал приведенный ниже код для установки:

 pyspark == 2.4.8 geomesa_pyspark using https://repo.eclipse.org/content/repositories/geomesa-releases/org/locationtech/geomesa/ geomesa_pyspark-2.4.0.tar.gz geomesa-accumulo-spark-runtime_2.11-2.4.0.jar python 3.7   

 import geomesa_pyspark conf = geomesa_pyspark.configure(  jars=['./jars/geomesa-accumulo-spark-runtime_2.11-2.4.0.jar', './jars/postgresql-42.3.1.jar', './jars/geomesa-spark-sql_2.11-2.4.0.jar'],  packages=['geomesa_pyspark','pytz'],  spark_home='/Users/user/opt/anaconda3/envs/geomesa-pyspark/lib/python3.7/site-packages/pyspark').  setAppName('MyTestApp')   spark = ( SparkSession  .builder  .config(conf=conf)   .config('spark.driver.memory', '15g')  .config('spark.executor.memory', '15g')  .config('spark.default.parallelism', '10')  .config('spark.sql.shuffle.partitions', '10')  .master("local")  .getOrCreate() )  

Я заменил

 jars=['./jars/geomesa-accumulo-spark-runtime_2.11-2.4.0.jar', './jars/postgresql-42.3.1.jar', './jars/geomesa-spark-sql_2.11-2.4.0.jar'],  

Для

 jars=['./jars/geomesa-accumulo-spark-runtime_2.11-2.4.0.jar'],  

А для postgresql я прошел .option("driver", "org.postgresql.Driver") при загрузке данных через pyspark, что устранило проблему