Блог

Я пытаюсь скопировать файлы с FTP в Blob, проблема в том, что мой конвейер копирует все файлы, включая старые. Я хотел бы выполнить инкрементную загрузку, только копируя новые файлы. как это настроить. Кстати, в моем наборе данных FTP параметры ModifiedStartDate и ModifiedEndDate не отображаются. Я также хотел бы динамически настраивать даты тезисов

Спасибо!

В Azure Data Factory необходимо выполнить некоторую работу, чтобы заставить это работать. Если я правильно понимаю, вы пытаетесь постепенно загружать новые файлы в Azure Data Factory. Вы можете сделать это, просмотрев последнюю дату изменения в папке назначения.

Короче говоря (см. Статью, связанную выше, для получения дополнительной информации):

1. Используйте операцию получения метаданных, чтобы составить список всех файлов в папке назначения
2. Используйте для каждого действия, чтобы повторить этот список и сравнить измененную дату со значением, сохраненным в переменной
3. Если значение больше, чем значение переменной, обновите переменную этим новым значением
4. Используйте переменную в поле «Фильтр действия копирования по последнему изменению», чтобы отфильтровать все файлы, которые уже были скопированы