Блог

Я новичок в Scala, и я хотел бы понять некоторые базовые вещи.

Прежде всего, мне нужно вычислить среднее значение для определенного столбца фрейма данных и использовать результат в качестве переменной типа double.

После некоторых интернет-исследований я смог вычислить среднее значение и одновременно передать его в список типа Any с помощью следующей команды:

 val avgX_List = mainDataFrame.groupBy().agg(mean("_c1")).collect().map(_(0)).toList
  

где «_c1» — это второй столбец моего фрейма данных. Эта строка кода возвращает список с типом List[Any].

Чтобы передать результат в переменную, я использовал следующую команду:

 var avgX = avgX_List(0)
  

надеялся, что var avgX автоматически примет тип double, но этого, очевидно, не произошло.

Итак, теперь давайте начнем задавать вопросы:

1. Что делает map(_(0)) do ? Я знаю основное определение map() преобразования, но я не могу найти объяснение с этим точным аргументом

2. Я знаю, что при использовании .toList метода в конце команды моим результатом будет список с типом Any . Есть ли способ, которым я мог бы изменить это на List, который содержит элементы типа Double ? Или даже преобразовать этот

3. Считаете ли вы, что было бы гораздо уместнее передать столбец моего фрейма данных в список [Double], а затем вычислить среднее значение его элементов?

4. Является ли решение, которое я показал выше, правильным с любой точки зрения, исходя из моей проблемы? Я знаю, что «это работает» отличается от «правильного решения»?

Подводя итог, мне нужно вычислить среднее значение определенного столбца фрейма данных и получить результат в виде переменной типа double.

Обратите внимание, что: я грек, и мне иногда трудно понять некоторые английские кодирующие «сленги».

map(_(0)) это ярлык для map( (r: Row) => r(0) ) , который, в свою очередь, является ярлыком для map( (r: Row) => r.apply(0) ) . apply Метод возвращает Any , и поэтому вы теряете правильный тип. Попробуйте вместо этого использовать map(_.getAs[Double](0)) или map(_.getDouble(0)) .

Сбор всех записей столбца и последующее вычисление среднего значения было бы крайне контрпродуктивным, потому что вам пришлось бы отправлять огромные объемы данных на главный узел, а затем выполнять все вычисления на этом единственном центральном узле. Это было бы полной противоположностью тому, для чего подходит Spark.

Вам также не нужно collect(...).toList , потому что вы можете получить доступ к 0-й записи напрямую (не имеет значения, получаете ли вы ее из Array или из a List ). Так как вы все Row равно сворачиваете все в один, вы могли бы полностью избавиться от map шага, немного изменив порядок методов:

 val avgX = mainDataFrame.groupBy().agg(mean("_c1")).collect()(0).getDouble(0)
  

Его можно записать еще короче, используя first метод:

 val avgX = mainDataFrame.groupBy().agg(mean("_c1")).first().getDouble(0)
  

 #Any dataType in Scala can't be directly converted to Double.
#Use toString amp; then toDouble on final captured result.

#Eg-

#scala> x
#res22: Any = 1.0

#scala> x.toString.toDouble
#res23: Double = 1.0

#Note- Instead of using map().toList() directly use (0)(0) to get the final value from your resultset.


#TestSample(Scala)-

val wa = Array("one","two","two")
val wrdd = sc.parallelize(wa,3).map(x=>(x,1))
val wdf = wrdd.toDF("col1","col2")
val x = wdf.groupBy().agg(mean("col2")).collect()(0)(0).toString.toDouble

#O/p-
#scala> val x = wdf.groupBy().agg(mean("col2")).collect()(0)(0).toString.toDouble
#x: Double = 1.0