Как настроить Spark, чтобы избежать утечки диска сортировки?

#apache-spark Вопрос: У нас есть алгоритм, который в настоящее время обрабатывает данные по разделам foreachPartition . Я понимаю, что это, возможно, не лучший способ обработки данных в Spark, но, теоретически,…

Продолжить чтениеКак настроить Spark, чтобы избежать утечки диска сортировки?