Блог

У меня есть 2 фрейма данных, и я объединяю эти 2 в зависимости от того, содержится ли строка в одном из столбцов в столбце сообщения в другом фрейме данных.

Пример DFs:

DF1

DF2

Если я сделаю левое соединение этих 2 кадров данных, как показано ниже

val result1 = df1.join(df2, $»Сообщение.содержит($»Токен»), слева)

вывод DF выглядит следующим образом

Сообщение = «PorcupineCourier-Не удалось установить выполнение подключения к приложению. java.lang.Исключение NullPointerException» в DF1 содержит несколько токенов, и в итоге у меня получается 2 совпадения для одного и того же сообщения в выводе.

Но я хотел бы использовать столбец SortOrder в DF2, чтобы получить правильное соответствие и удалить дублирующуюся строку.Я хотел бы получить Event_Id с самым низким сортировщиком в случае совпадения нескольких токенов, поэтому в приведенном выше выводе Event_Id = 20 имеет самый низкий сортировщик, мой вывод должен содержать только 3 строки, как показано ниже

Ожидаемые результаты :

кроме того, если сообщение соответствует нескольким токенам и у обоих один и тот же сортировщик, я хотел бы получить строку, по умолчанию имеющую наименьшее значение Event_Id

Я застрял и был бы признателен за любую помощь в правильном понимании логики

Чтобы удалить дубликат. Это довольно стандартный шаблон для удаления повторяющихся строк.

 result1.withColumn("rn", row_number over Window.partitionBy('Id).orderBy('SortOrder, 'Event_Id)).where('rn === 1)
 

Мы ставим сортировщик в качестве первого критерия ранжирования, затем Event_id. Это по своей природе в порядке возрастания. Если у вас есть нули, вы можете сделать .asc_nulls_last это в столбце сортировки

Я реализовал более внутреннюю версию этого здесь: https://github.com/kanielc/jarvis-utils/blob/d95442ffad1d61d9269e87228e0911508784655f/src/main/scala/com/jarvis/utils/DatasetFunctions.scala#L27

но вышеприведенная версия будет работать так же хорошо.