#amazon-s3 #amazon-ec2 #amazon #transfer
#amazon-веб-сервисы #amazon-s3 #amazon-ec2 #перенос
Вопрос:
Я пытаюсь переименовать и перенести 2 ТБ (10 миллионов) изображений с локального сервера на amazon s3. Я написал PHP для отправки их с использованием библиотеки aws (запущенной на том же локальном компьютере), но у меня нет 6 месяцев, которые требуется для завершения. Ищу несколько идей, как сделать это быстрее.
У меня есть 2 идеи, но я не уверен, что они будут лучше …. 1. Используйте какое-нибудь смонтированное решение s3 (s3fs), которое будет параллельной загрузкой (будет ли ???) 2. Перенесите изображения на экземпляр ec2 и отправьте оттуда на s3. Я мог бы извлечь их с помощью ssh / FTP или http. Вероятно, все еще нужно распараллеливать их вручную??
Будем признательны за любую помощь.
Ответ №1:
Еще одна возможность — отправить Amazon жесткий диск с вашими данными.
Ответ №2:
Разделите свой список изображений длиной более 10 миллионов на подмножества. Загружайте каждое подмножество в S3 параллельно.
Комментарии:
1. Мне понадобилось бы 100 параллелей. Похоже, должно быть что-то, что сделает это за меня или, по крайней мере, немного поможет.
2. Язык сценариев поможет вам в этом. Возможно, вы можете написать сценарий оболочки-оболочки для автоматизации разделения и отправки частей.
3. Я надеялся найти что-то, что сделало бы это за меня, но, в конце концов, это не так уж плохо. Я внедрил параметры argv, чтобы я мог легко вызывать скрипт загрузки для разных наборов изображений.