#pyspark #coalesce
Вопрос:
Я читаю таблицу улья с помощью Spark SQL и сохраняю ее в фрейме данных Spark. Затем я экспортирую данные из фрейма данных в CSV с помощью команды coalesce, и это было успешно. Единственная проблема в том, что я хочу, чтобы заголовок CSV был написан понятными словами, но это просто имена столбцов.
Есть ли способ настроить мой CSV-заголовок ?
Комментарии:
1. Переименуйте имена столбцов df.
Ответ №1:
Вы можете использовать df.withColumnRenamed('old', 'new') для переименования столбцов перед сохранением в формате CSV
Комментарии:
1. Спасибо за быстрый ответ, проверю
2. Это не работает. Я все еще вижу старое название столбца
3. не могли бы вы обновить вопрос своим кодом?
4. использовал «DataFrame.toDF( массив новых имен столбцов) * это сработало. Спасибо за отличное начало». Здесь обязательно