Реализация инкрементной загрузки с AWS RDS SQL Server на Amazon S3

#amazon-web-services #amazon-s3 #amazon-rds

Вопрос:

Мне нужно перенести данные из DWH(AWS RDS MS SQL Server) в Amazon S3. Данные в DWH можно обновлять, а не только добавлять. Неужели кто-то сделал такой трубопровод? Данные в DWH обновляются каждые 10-15 минут.

Комментарии:

1. Существует ли отметка времени last_changed или что-то в этом роде, позволяющее вам определить, какие строки действительно изменились, или эта логика также должна быть реализована вами?

2. Я могу добавить эту колонку

Ответ №1:

Служба миграции баз данных AWS может помочь вам в этом, она также поддерживает непрерывную репликацию, а служба SQL полностью поддерживается

здесь есть полное решение для ходьбы: https://dms-immersionday.workshop.aws/en/sqlserver-s3.html

они используют SQL Server на EC2, но вы можете изменить источник на RDS

введите описание изображения здесь