#azure-storage #azure-blob-storage #azcopy
#azure-хранилище #azure-blob-хранилище #azcopy
Вопрос:
Я попытался скопировать диски объемом 1 ТБ между учетными записями хранилища в том же регионе Azure с помощью AzCopy и Azure Storage Explorer. AzCopy работал медленнее, чем Explorer. Каждый раз это занимало 5 часов и 30 минут.
Я уже пробовал опцию / SynCopy для AzCopy на виртуальной машине в том же регионе, но это было все еще медленнее.
Мой вопрос: можно ли это сделать быстрее?
Спасибо за вашу помощь.
Ответ №1:
Я не думаю, что /SynCopy
опция или другие для AzCopy
ускорят работу виртуальной машины, например, в документе указана причина, как показано ниже.
Синхронное копирование больших двоичных объектов из одной учетной записи хранилища в другую
AzCopy по умолчанию копирует данные между двумя конечными точками хранилища асинхронно. Таким образом, операция копирования выполняется в фоновом режиме, используя резервную пропускную способность, которая не имеет SLA с точки зрения скорости копирования большого двоичного объекта, и AzCopy периодически проверяет статус копирования до завершения копирования или сбоя.
Опция /SyncCopy гарантирует, что операция копирования будет выполняться с постоянной скоростью. AzCopy выполняет синхронное копирование, загружая большие двоичные объекты для копирования из указанного источника в локальную память, а затем загружая их в место назначения хранилища больших двоичных объектов.
Здесь просто рекомендуются другие решения для вашего сценария, за исключением использования AzCopy или Azure Storage Explorer в виртуальной машине для копирования большого двоичного объекта между учетными записями хранилища в том же регионе, есть два способа сделать то же самое, возможно, быстрее.
-
Рекомендуется создать фабрику данных Azure в том же регионе без виртуальной машины для копирования данных, пожалуйста, обратитесь к официальному руководству
Quickstart: Use the Copy Data tool to copy data
, чтобы узнать, как начать. Это отдельная служба, которая в полной мере использует пропускную способность сети в облаке для передачи данных, в отличие от виртуальной машины Azure, имеющей некоторые ограничения. -
Для хранилища больших двоичных объектов Azure существует средство передачи данных с высокой степенью параллелизма под названием
Azure/blobporter
, которое вы можете попробовать запустить на виртуальной машине, но я не думаю, что это будет быстрее, чем Azure Data Factory.
Комментарии:
1. Спасибо за ответ. Я рассмотрю эти решения. Они для меня новые.
2. Это заняло время, но я просто скопировал VHD с помощью Azure Storage Explorer. Спасибо за ваш ответ