Устраните дубликаты (дедупликацию) в потоковом кадре данных

#scala #apache-spark #apache-spark-sql #spark-structured-streaming #delta-lake Вопрос: У меня есть потоковый процессор Spark. Фрейм данных dfNewExceptions имеет дубликаты (дублируется "идентификатором исключения"). Поскольку это потоковый набор данных, приведенный ниже запрос завершается ошибкой:…