Блог

Все,

Я пытаюсь прочитать файл JSON, и есть некоторые атрибуты с нулевыми значениями; они удаляются, когда я показываю () фрейм данных.

текущая версия spark: 2.4

json :

 { "name":"Bob", "location":"NYC", "empl":null}

df.show()
name | location
------------------
Bob  |NYC
======================

 

Не могли бы вы помочь, как отобразить «empl» в выходных данных?

Спасибо

попробуйте это:

 df = (spark
        .read
        .option('dropFieldIfAllNull', False)
        .json('your file path')      
)