#azure #google-cloud-platform #google-cloud-storage #cloud #azure-blob-storage
#azure #google-cloud-platform #google-cloud-storage #облако #azure-blob-storage
Вопрос:
Я хочу переместить CSV-файлы из облачного хранилища Google в хранилище больших двоичных объектов Azure. Я знаю, что это может быть достигнуто с помощью Azure Data Factory. Я хотел, чтобы перемещение инициировалось и оплачивалось на стороне Google Cloud, а не на стороне Azure (с использованием Azure Data Factory), т. Е. Передача данных должна быть инициирована со стороны GCP, а не извлечение со стороны Azure.
Ответ №1:
Вы можете использовать инструмент azcopy, как показано ниже:
azcopy cp --recursive=true "<-source url->" "<-destination url->"
Ответ №2:
Простой и надежный способ, как вы упомянули, заключается в использовании Azure Data Factory, GCP не предлагает никаких инструментов для перемещения данных другому поставщику услуг.
Бескодовым вариантом может быть использование виртуальной машины Compute Engine с хранилищем Azure Fuse, хранилищем GCP Fuse и использование rsync команды для копирования содержимого из GCP в AZure
[GCP Bucket] ----- Fuse Storage --- > [GCE VM] ---- Fuse Storage ---> [Azure]
Виртуальная машина GCE должна находиться в том же регионе, что и корзина, чтобы уменьшить задержку и избежать платы за трафик на выходе, при этом вам будет выставлен счет только за сетевой выход облачного хранилища и за виртуальную машину.
В обоих случаях облачное хранилище и хранилище больших двоичных объектов не взимают никакой платы, связанной с входящим трафиком.
Ответ №3:
Это можно сделать программно. Вы можете написать микросервис GKE для перемещения данных из облачного хранилища в хранилище больших двоичных объектов Azure —