#json #dataframe #validation #pyspark
Вопрос:
Мне нужно подтвердить это .данные файла json. Пожалуйста, найдите данные для справки.
Я попробовал приведенный ниже код
df = spark.read.option("multiline","true").json("filename.json")
Схема
DataFrame[first_name: string, last_name : string]
Входные Данные
[{
"first_name": "N@ve$",
"last_name": "@no$nymous",
}]
Выходные Данные
[{
"first_name": "Nve",
"last_name": "nonymous",
}]
Я новичок в формате json pyspark. Не могли бы вы, пожалуйста, помочь мне решить и научиться.