Блог

У меня есть 2 таблицы, как показано ниже. Мой приведенный ниже код объединяет 2 таблицы (левое соединение). Проблема в том, что я должен выполнить одно и то же соединение дважды. Первое объединение выполняется для log_no и LogNumber, которое возвращает все записи из левой таблицы (table1) и соответствующие записи из правой таблицы (table2). Второе соединение выполняет то же самое, но в подстроке log_no с LogNumber . например, 777 будет совпадать с 777 из таблицы 2, 777-A совпадения нет, но при использовании функции подстроки 777-A становится 777, который будет сопоставлен в таблице 2.

Вместо создания 2 отдельных объединений, как показано ниже, как я могу охватить оба сценария одним объединением. Код ниже:

 # first join to match 1234-A (table 1) with 1234-A (table 2)
df5 = df5.join(df_app, trim(df5.LOG_NO) == trim(df_app.LogNumber), "left")
         .select (df5["*"], df_app["ApplicationId"])
df5 = df5.withColumnRenamed("ApplicationId","ApplicationId_1")
        
# second join with substring function, to match 777-C with 777, 
# my string is longer than my examples, this is why I have a substring for the first 8 characters. I provided simple examples.

df5 = df5.join(df_app, substring(trim(df5.LOG_NO), 1, 8) == trim(df_app.LogNumber), "left")
         .select (df5["*"], df_app["ApplicationId"])
df5 = df5.withColumnRenamed("ApplicationId","ApplicationId_2")
  

Вы можете объединить два условия соединения, используя побитовое ИЛИ:

 df5 = df5.join(df_app, 
               (trim(df5.LOG_NO) == trim(df_app.LogNumber)) |
               (substring(trim(df5.LOG_NO), 1, 8) == trim(df_app.LogNumber)), 
               "left") 
         .select(df5["*"], df_app["ApplicationId"])