Блог

Вы должны сохранить csv-файл с разделителем «nr». Однако Spark не позволяет добавлять разделитель более чем с 1 символом. Объемы данных велики. Пожалуйста, скажите мне, как обойти это ограничение. Пример кода ниже.

Ошибка: не выполнено требование: «Строка» может содержать только 1 символ.

В документации spark указано, что можно использовать разделитель «nr».

 spark.sql("SELECT * FROM SS_LSR_OUT")
  .coalesce(1)       
  .write
  .format("csv")             
  .mode("overwrite") 
  .option("header", "true")
  .option("encoding", "cp1251")
  .option("multiline", "true")
  .option("lineSep","nr")
  .option("sep", ";")
  .csv(path_out   ".tmp")