Блог

Я пишу методы в Scala, которые принимают аргументы столбца и возвращают столбец. В них я пытаюсь сравнить значения столбцов (от целых чисел до дат), используя логику, аналогичную приведенной ниже, но столкнулся с сообщением об ошибке.

lit() Это только для примера. По правде говоря, я передаю столбцы из a DataFrame.select() в метод для выполнения вычислений. Мне нужно сравнить, используя эти столбцы.

 val test1 = lit(3)
val test2 = lit(4)

if (test1 > test2) { 
    print("tuff")
}
 

Сообщение об ошибке.

 Error : <console>:96: error: type mismatch;
 found   : org.apache.spark.sql.Column
 required: Boolean
       if (test1 > test2) {
 

Каков правильный способ сравнения объектов столбцов в Spark? В документации столбца указан > оператор как допустимый для сравнения.

Редактировать: вот очень надуманный пример использования, предполагающий, что столбцы, передаваемые в функцию, представляют собой даты, которые необходимо сравнить по деловым соображениям с возвращаемым целочисленным значением, которое также имеет некоторое значение для бизнеса.

 someDataFrame.select(
   $"SomeColumn", 
   computedColumn($"SomeColumn1", $"SomeColumn2").as("MyComputedColumn")
)
 

Где computedColumn было бы

 def computedColumn(col1 : Column, col2: Column) : Column = { 
      val returnCol : Column = lit(0)    
      if (col1 > col2) { 
         returnCol = lit(4)
      } 
} 
 

За исключением фактического использования, существует гораздо больше логики if / else, которая должна выполняться computedColumn , при этом конечным результатом является возвращаемый столбец, который будет добавлен в выходные данные select.

Вы можете использовать when для выполнения условного сравнения:

 someDataFrame.select(
   $"SomeColumn", 
   when($"SomeColumn1" > $"SomeColumn2", 4).otherwise(0).as("MyComputedColumn")
)
 

Если вы предпочитаете писать функцию:

 def computedColumn(col1 : Column, col2: Column) : Column = { 
    when(col1 > col2, 4).otherwise(0)
} 

someDataFrame.select(
   $"SomeColumn", 
   computedColumn($"SomeColumn1", $"SomeColumn2").as("MyComputedColumn")
)