Блог

Я начинаю использовать интеграцию данных pentaho, и я намерен использовать ее для обновления озера данных данными с сервера. Однако мне просто нужно добавить данные, которые еще не существуют (инкремент) в озеро данных.

Пример SQL:

SELECT COLUM1, COLUM2, COLUM3, COLUM4 FROM TABLEX

Я не знаю, могу ли я сделать это увеличение с помощью sql, filter или каким-либо другим способом.

Давайте сделаем это просто: используйте поиск потока и фильтр.

Первый шаг, из источника вы просматриваете целевую таблицу в lake с помощью некоторых ключей (ключ бизнеса, бла-бла-бла …) и получаете новый столбец в качестве средства проверки имени (проверка инициализации равна 1 в предложении select в ссылке поиска).

Второй шаг, если проверка = 1 (запись существует в цели), больше ничего не делайте, вставляйте новую запись в цель.

Для достижения этой цели существует несколько способов

Пример :

Выполните два шага ввода таблицы (исходный и целевой) и два шага добавления контрольной суммы, затем сравните контрольную сумму из источника и цели, если она не совпадает с insert в target.