Достижение жестко заданного предела в коде Spark для огромного количества столбцов при обработке corr(корреляции)

#apache-spark #apache-spark-sql #apache-spark-mllib Вопрос: Столкнувшись здесь с проблемой, столкнувшись с жестким ограничением в коде spark из-за огромного количества столбцов(20 тыс.) при обработке corr (корреляции). Сведения о функциях, org.apache.spark.ml.статистика.Корреляция.корр. По деловым…