Блог

У меня есть следующие поля JSON

 {"constructorId":1,"constructorRef":"mclaren","name":"McLaren","nationality":"British","url":"http://en.wikipedia.org/wiki/McLaren"}

{"constructorId":2,"constructorRef":"bmw_sauber","name":"BMW Sauber","nationality":"German","url":"http://en.wikipedia.org/wiki/BMW_Sauber"}
 

Следующий код создает следующий фрейм данных:
Я запускаю код на базе данных

 df = (spark.read 
      .format(csv) 
      .schema(mySchema) 
      .load(dataPath)    
           )

  display(df)
 

Однако мне нужно, чтобы фрейм данных выглядел следующим образом:

Я считаю, что проблема в том, что JSON вложен, и я пытаюсь преобразовать его в CSV. Тем не менее, мне нужно конвертировать в CSV.

Есть ли код, который я могу применить для удаления вложенной функции JSON?

Просто попробуй:

 someDF = spark.read.json(somepath)
 

Выведите схему по умолчанию или предоставьте свою собственную, установите в вашем случае в многострочном PySpark значение false.

 someDF = spark.read.json(somepath, someschema, multiLine=False)
 

Видишь https://spark.apache.org/docs/latest/sql-data-sources-json.html

С выводом схемы:

 df = spark.read.option("multiline","false").json("/FileStore/tables/SOabc2.txt")
df.printSchema()
df.show()
df.count()
 

ВОЗВРАТ:

 root
 |-- constructorId: long (nullable = true)
 |-- constructorRef: string (nullable = true)
 |-- name: string (nullable = true)
 |-- nationality: string (nullable = true)
 |-- url: string (nullable = true)

 ------------- -------------- ---------- ----------- -------------------- 
|constructorId|constructorRef|      name|nationality|                 url|
 ------------- -------------- ---------- ----------- -------------------- 
|            1|       mclaren|   McLaren|    British|http://en.wikiped...|
|            2|    bmw_sauber|BMW Sauber|     German|http://en.wikiped...|
 ------------- -------------- ---------- ----------- -------------------- 

Out[11]: 2