Понимание количества разделов, созданных Spark
#apache-spark #pyspark #apache-spark-sql Вопрос: Сколько разделов pyspark-sql создаст при чтении файла .csv? Я понимаю это так number of partitions = math.ceil(file_size/spark.conf.get('spark.sql.files.maxPartitionBytes')) На моей машине: spark.conf.get('spark.sql.files.maxPartitionBytes') output: '134217728b' #128MBs Однако я…