IBM DataStage: не удается удалить дублирующиеся записи на этапе поиска

#datastage #ibm-infosphere

#datastage #ibm-infosphere

Вопрос:

Я пытаюсь сопоставить входные данные файла xls с записями в базе данных, если записи файла xls совпадают с записями в базе данных, тогда записи файла xls не будут вставлены в базу данных (предотвращая дублирование), и если записи файла xls не совпадают с записями в базе данных, тогда записи файла xls будут введены, поскольку это означает, что записи еще не существуют. Это мое подключение и детали.

Общая информация
настройка поиска

Проблема в том, что независимо от того, как я устанавливаю параметры сбоя поиска, поиск будет передавать записи из справочной базы данных, которая соответствует csv_rec , в целевую базу данных. Что создает дублирование, не предотвращая его. Как я должен сделать, чтобы вставить основной ввод только в целевой объект, если он не совпадает со справочной базой данных, и не вставлять основной ввод, если есть совпадение со справочной базой данных? Я новичок в этом, поэтому я очень смущен..

Ответ №1:

Направьте потоковый вывод этапа поиска в этап копирования без вывода. Добавьте ссылку отклонения со стадии поиска на стадию ODBC. Эта ссылка будет содержать те записи, которые не были найдены в целевой таблице. Обратите внимание, что вам нужно соответствующим образом установить свойство Lookup Failed этапа поиска.

Ответ №2:

Используйте ссылку отклонения поиска.

Основная ссылка на вывод -> просмотр

Отклонить -> целевая база данных

Ответ №3:

Вам понадобится ссылка для отклонения, чтобы вы могли обрабатывать сбои поиска в дальнейшем