Блог

Главная - Вопросы по программированию - Получение имен столбцов в строках при запросе базы данных бережливости из pyspark

Получение имен столбцов в строках при запросе базы данных бережливости из pyspark

#sql #apache-spark #pyspark #spark-thriftserver

Вопрос:

У меня есть база данных бережливости, работающая на Apache Spark 3.1.2, где я создал таблицу и вставил значения с помощью beeline. Это выглядит так:

 0: jdbc:hive2://localhost:10000/> select * from mydb4.test;
 ------- -------- 
|  key  | value  |
 ------- -------- 
| 1235  | test4  |
| 123   | test   |
 ------- --------

Однако, когда я пытаюсь извлечь это с помощью pyspark, возвращаемые имена столбцов следующие:

 database = "mydb4"
table = "test"
jdbcDF = spark.read.format("jdbc") 
    .option("url", f"jdbc:hive2://<URL>/mydb4") 
    .option("dbtable", table) 
    .load()

jdbcDF.select("key").show()

 --- ----- 
|key|value|
 --- ----- 
|key|value|
|key|value|
 --- -----

Почему я не могу увидеть правильные значения в возвращаемой таблице? Я вижу только имена столбцов вместо значений.

Метки: