Как преобразовать файл JSON в обычный фрейм данных таблицы в Apache Spark

Post author:admin
Запись опубликована:9 января, 2022
Post category:Вопросы по программированию

#apache-spark #pyspark Вопрос: У меня есть следующие поля JSON {"constructorId":1,"constructorRef":"mclaren","name":"McLaren","nationality":"British","url":"http://en.wikipedia.org/wiki/McLaren"} {"constructorId":2,"constructorRef":"bmw_sauber","name":"BMW Sauber","nationality":"German","url":"http://en.wikipedia.org/wiki/BMW_Sauber"} Следующий код создает следующий фрейм данных: Я запускаю код на базе данных df = (spark.read .format(csv) .schema(mySchema) .load(dataPath)…

Продолжить чтение