#oracle #amazon-s3 #data-synchronization #oracle-cloud-infrastructure
#Oracle #amazon-s3 #синхронизация данных #oracle-cloud-инфраструктура
Вопрос:
Моя проблема:
Мне нужен конвейер данных, созданный из Oracle DB моей организации (Oracle Cloud Infrastructure) в корзину AWS S3. В идеале мне бы хотелось, чтобы у Oracle был какой-то механизм для отправки новых данных, поступивших в базу данных, в корзину S3 по мере их добавления (в любом формате).
Вопрос:
Возможно ли это с помощью Oracle native, в частности Oracle Cloud Infrastructure?
Или есть ли лучшее решение, которое вы видели?
Примечание: я видел, что у AWS есть продукт синхронизации данных, похоже, он может облегчить решение этой проблемы, однако я не уверен, подходит ли он для этой конкретной проблемы.
Ответ №1:
Корзина S3 — это хранилище объектов; в ней могут храниться только полные файлы. Вы не можете открыть и обновить существующий файл, как в обычной файловой системе, даже просто для добавления новых строк. Вам нужно будет создать весь ваш файл вне Oracle, а затем перенести его в S3 с помощью какого-либо другого механизма.
Возможно, вы захотите рассмотреть следующие шаги:
- Экспортируйте свои данные из Oracle Cloud в Oracle Object Storage (аналогично S3), используя интеграцию Oracle Cloud с их Object Storage. (https://blogs.oracle.com/datawarehousing/the-simplest-guide-to-exporting-data-from-autonomous-database-directly-to-object-storage)
ЗАТЕМ:
- Позвольте клиенту получить доступ к хранилищу объектов Oracle так, как он обычно получает доступ к S3, используя API совместимости Oracle с Amazon S3. (https://docs.oracle.com/en-us/iaas/Content/Object/Tasks/s3compatibleapi.htm )
или:
- Используйте внешний скрипт для загрузки данных — либо из Oracle Object Store, либо непосредственно из базы данных — на сервер, а затем отправьте файл на Amazon S3. Сервер может быть локальным или размещенным либо в Oracle OCI, либо в AWS, при условии, что он имеет доступ к обоим хранилищам объектов. (https://blogs.oracle.com/linux/using-rclone-to-copy-data-in-and-out-of-oracle-cloud-object-storage )
или:
- Вы можете использовать AWS Data Sync для перемещения данных непосредственно из Oracle Object Storage в S3, в зависимости от требований к конфигурации сети. (https://aws.amazon.com/blogs/aws/aws-datasync-adds-support-for-on-premises-object-storage /)