Блог

Мой вклад в spark приведен ниже:

Я хочу сгенерировать следующие выходные данные с помощью spark SQL:

Условия и процедура: Если col_1 col_2 значения и не совпадают, рассмотрите текущее значение суммы для нового выходного столбца, но оба они одинаковы, а затем объедините предыдущее значение всей суммы / .

т. е. 17, col_1 где col_1 amp; col_2 значение отличается, поэтому учитывайте текущую сумму 0/1000 . Следующий шаг значения обоих столбцов одинаковы, поэтому значение равно 0/1000/0/-1000 и так далее. Необходимо создать эту логику для динамических данных в spark SQL или Spark Scala.

Вы можете использовать concat_ws в списке сумму, полученную из collect_list соответствующего окна:

 import org.apache.spark.sql.expressions.Window

val df2 = df.withColumn(
    "output", 
    concat_ws(
        "/", 
        collect_list("amount").over(
            Window.partitionBy("col_1")
                  .orderBy("col_2")
                  .rowsBetween(Window.unboundedPreceding, 0)
        )
    )
)