Блог

У меня есть два DF, один с полной загрузкой, а другой с добавлением, я хочу добавить данные для идентификатора пользователя, которые одинаковы в обоих кадрах данных. Так что мой окончательный вывод заключается в том, что идентификатор пользователя тот же, но значение обновляется. Я хочу сделать это в фрейме данных, у меня есть другой подход , который является устаревшим, но для этого необходимо создать несколько промежуточных таблиц, которых я хочу избежать, как я могу добавить данные в основную таблицу

Полный Стол

инкрементная загрузка

Желаемый вывод

Вы можете объединить оба кадра данных, а затем суммировать все записи для одного и того же клиента:

 from pyspark.sql import functions as F

dfFull= ...
dfInc=...

dfResult=dfFull.union(dfInc).groupBy('customer_ID').agg(F.sum('amount').alias('amount'))