Pyspark не может найти источник данных bigquery

Post author:admin
Запись опубликована:10 января, 2022
Post category:Вопросы по программированию

# #apache-spark #pyspark #google-bigquery Вопрос: Это моя конфигурация pyspark. Я выполнил шаги, упомянутые здесь, и не создал sparkcontext. spark = SparkSession .builder .appName(appName) .config(conf=spark_conf) .config('spark.jars.packages', 'com.google.cloud.spark:spark-bigquery-with-dependencies_2.12:0.22.0') .config('spark.jars.packages','com.google.cloud.bigdataoss:gcsio:1.5.4') .config('spark.jars', 'gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar,spark-bigquery-with-dependencies_2.12-0.21.1.jar,spark-bigquery-latest_2.11.jar') .config('spark.jars',…

Продолжить чтение