#data-warehouse #star-schema #star-schema-datawarehouse
Вопрос:
Я работаю в финансовой компании. Нам нужно отслеживать точные размеры стоимости во время транзакции. Мы пытаемся постепенно загружать данные в хранилище ~ 15 минут, и за этот период мы могли видеть измерение с точным изменением бизнес-ключа несколько раз (собирается несколько записей). Обычно мы пишем сценарии, чтобы выбрать последние из всех изменений в 15-минутном окне. Но в нашем случае я хочу, чтобы все эти изменения были загружены в таблицу измерений. Как это может быть реализовано?
Редактировать:
Примеры в одной партии:
Business Key, Name, email (scd 2), Created_at
1, xyz, xyz@gmail.com, 1/1/21 10:00 AM
1, xyz, abc@gmail.com, 1/1/21 10:05 AM
Expected changes in dimension
SK, BK, Name, Email, Effective_date, Expiration_date, Current
1, 1, efg@gmail.com, 01/01/1900 0:00 AM, 1/1/21 9:59 AM, N
--- New changes from batch ------
2, 1, xyz@gmail.com, 01/01/2021 10:00 AM, 01/01/2021 10:05 AM, N
3, 1, abc@gmail.com, 01/01/2021 10:05 AM, 12/31/9999 00:00 AM, Y
Комментарии:
1. Я не уверен, какой ответ вы ищете, кроме того, что вам нужно зафиксировать все изменения, внесенные в исходные таблицы для ваших измерений? Вы спрашиваете, как технически это реализовать? Если да, пожалуйста, предоставьте дополнительную информацию, например, какова ваша исходная СУБД, как вы в настоящее время идентифицируете и извлекаете измененные записи и т. Д
2. @NickW Я ищу тип sql-запроса, который мне нужно реализовать, чтобы внести все изменения в SCD2 во время выполнения каждого пакета.
3. Вы спрашиваете, как определить и выбрать все изменения в вашей исходной системе, или как обновить одну и ту же запись измерения несколько раз в одном пакете, или и то, и другое — или что-то совершенно другое? Было бы полезно, если бы вы предоставили (в своем вопросе, а не в качестве комментария) некоторые примеры данных и какой результат вы пытаетесь получить с их помощью в таблице измерений (будьте просты — это не обязательно должен быть реальный пример, если он демонстрирует проблему).
4. как обновить одну и ту же запись измерения несколько раз в одном пакете. Я добавлю некоторые примеры данных.
5. Пожалуйста, также пометьте свой вопрос используемой СУБД, так как ответ вполне может быть специфичным для СУБД