как проверить столбцы в файле json с помощью pyspark

#json #dataframe #validation #pyspark

Вопрос:

Мне нужно подтвердить это .данные файла json. Пожалуйста, найдите данные для справки.

Я попробовал приведенный ниже код

 df = spark.read.option("multiline","true").json("filename.json")
 

Схема

 DataFrame[first_name: string, last_name : string]
 

Входные Данные

 [{
    "first_name": "N@ve$",
    "last_name": "@no$nymous",
}]
 

Выходные Данные

 [{
    "first_name": "Nve",
    "last_name": "nonymous",
}]
 

Я новичок в формате json pyspark. Не могли бы вы, пожалуйста, помочь мне решить и научиться.