запись spark shuffle взрывается на небольших, кэшированных и обработанных df
#apache-spark #pyspark #shuffle Вопрос: Привет, сообщество Spark, Я работаю с pyspark, Spark 3.0. Я сталкиваюсь со следующей проблемой (псевдокод): df1 # 90k rows, 10MB df2 # 20k rows, 2MB sql.shuffling.partitions=200…