#apache-spark #memory #rdd
#apache-spark #память #rdd
Вопрос:
val rddMap = rdd.map(x=>x*x)
val rddReduce = rddMap.reduce((a:Int,b:Int) => a b)
На каком шаге будут загружены данные в память рабочего узла?
Комментарии:
1. второй шаг, потому что это действие, а первый шаг — преобразование
Ответ №1:
чтобы загрузить данные в память, вам необходимо использовать .cache в своем коде.