#azure #csv #azure-data-factory #azure-data-flow
Вопрос:
Чего я пытаюсь достичь: Загрузите список одного и того же файла без повторяющихся строк с удалением и вставкой после итерации
Файл_1.csv
Transaction date; Transaction number; value 2021-08-10 ; 01 ;132 2021-09-11 ; 01 ;112 2021-11-11 ; 11 ;56 2021-12-14 ; 12 ;78 Файл_2.csv
Transaction date; Transaction number; value 2021-10-11 ; 05 ;41 2021-09-11 ; 01 ;112 2021-11-11 ; 11 ;56 2021-12-14 ; 12 ;78 2021-12-18 ; 18 ;68 В файле 2 у меня есть данные из файла 1 с новыми строками
Итак, после загрузки файла 1
Я должен взять минимальную дату файла 2 и удалить данные, уже загруженные с этой даты.
Здесь 2021-09-11; 01;112 чтобы избежать дублирования, затем загрузите новые данные
Поэтому, удалив мою цель, я получу
Transaction date; Transaction number; value 2021-08-10 ; 01 ;132 И после вставки на мою цель я получу
Transaction date; Transaction number; value 2021-08-10 ; 01 ;132 2021-10-11 ; 05 ;41 2021-09-11 ; 01 ;112 2021-11-11 ; 11 ;56 2021-12-14 ; 12 ;78 2021-12-18 ; 18 ;68 Часть 1 я делаю это без проблем, но часть 2 я застрял
файлы — это просто примеры, я не могу взять другой ключ, кроме даты
Любая помощь, пожалуйста
Комментарии:
1. Не могли бы вы, пожалуйста, дать более подробную информацию о том, какой тип раковины? куда вы загружаете эти CSV-файлы?