Оптимизация ресурсов Spark, чтобы избежать использования памяти и пространства

#apache-spark #pyspark #amazon-emr #apache-spark #pyspark #amazon-emr Вопрос: У меня есть набор данных объемом около 190 ГБ, который был разделен на 1000 разделов. мой кластер EMR поддерживает максимум 10 r5a.2xlarge узлов…

Продолжить чтениеОптимизация ресурсов Spark, чтобы избежать использования памяти и пространства