Блог

Каждый день я получаю большой объем данных в своей базе данных (этот процесс берет текстовый файл и обрабатывает его в базе данных sql, но только один раз в день).

Моя проблема сейчас в том, что я хочу иметь возможность иметь обе базы данных в облаке. Из-за времени, затрачиваемого на обработку нескольких текстовых файлов и шифрование некоторых строк, я хотел бы просто экспортировать csv-файлы дополнений и поместить их в корзину s3, а затем сделать что-то, чтобы они попали в мою базу данных. Мы выбрали postgres, и я ищу способ просто выводить новые данные в формате csv, загружать их в облако и автоматически добавлять изменения каждую ночь.

Есть ли решение моей сумасшедшей сложной идеи? Я не хочу тратить время на обработку этого в облаке, так как в настоящее время я делаю это нормально, я просто хочу безопасно добавить свои данные в экземпляр RDS.

заранее спасибо.

Я видел функцию копирования для postgres, но, похоже, она не предназначена для ежедневных дополнений, и я хочу, чтобы она была автоматизирована.