Блог

У меня есть 8 экземпляров rds postgres, каждый из которых поддерживает базы данных для 8 имеющихся у нас решений.

Я хотел бы перенести все данные из 8 экземпляров rds postgres в один экземпляр rds postgres.

Это необходимо для аналитики

Вот моя работа над этим до сих пор:

1. Пытался загрузить каждую таблицу в csv и загрузить их в целевой экземпляр rds. Команда копирования завершается ошибкой для таблицы размером 50 ГБ. Я не могу перенести все данные за один раз, а затем настроить инкрементную загрузку. Сбой при полной загрузке таблицы для больших таблиц.(Здесь тоже используется python)

2. Думал использовать DMS, но рекомендуется, чтобы для миграции с rds-postgres на rds-postgres они рекомендовали использовать pgdump и pgrestore вместо DMS. Но для pgdump и pgrestore мне нужно сохранить пароль, а моя организация не позволяет мне этого делать

3. Использование debezium, но это длительный процесс, и, честно говоря, мне нужно, чтобы это заработало очень скоро.

Идеальная ситуация — это когда все 8 баз данных в 8 экземплярах rds реплицируются в одном экземпляре rds postgres. И это должна быть непрерывная репликация. На данный момент я в порядке для пакетной обработки (данные могут устаревать на день). Но если потоковая передача (пример — debezium) — единственный способ, тогда я тоже в порядке..

Любые мысли по этому поводу, пожалуйста?