#pyspark
Вопрос:
Я пытаюсь добавить данные в файл, но это не работает. Я не знаю, в чем причина. Не могли бы вы, пожалуйста, сказать, что я делаю не так?
Я бегу ниже черты-
df2.repartition(1).write.format('com.databricks.spark.csv').mode('append').save(output_path,quote='',escape='"', sep='|',header='True',nullValue=None)
Комментарии:
1. режим добавления будет работать . но это будет иметь некоторые ограничения, основанные на версии spark . ссылка. kb.databricks.com/data/append-slow-with-spark-2.0.0.html