#apache-spark #parquet
Вопрос:
В оболочке Spark я создаю фрейм данных с 3 разделами, где первый и последний пусты:
scala> Seq(1->1, 2->3).toDF.repartition(3).rdd.glom.collect
res1: Array[Array[org.apache.spark.sql.Row]] = Array(Array(), Array([1,1], [2,3]), Array())
scala> Seq(1->1, 2->3).toDF.repartition(3).write.parquet("x")
В выходном каталоге есть файлы только для первых двух разделов:
part-00000-3e4614c5-243c-49eb-8da7-1a906584ef69-c000.snappy.parquet
part-00001-3e4614c5-243c-49eb-8da7-1a906584ef69-c000.snappy.parquet
_SUCCESS
Есть ли настройка для принудительной записи пустого файла паркета, как part-00000 и для раздела 3?