#amazon-web-services #amazon-s3
#amazon-web-services #amazon-s3
Вопрос:
У меня есть файлы LZO в корзине S3, за исключением последних файлов LZO, все остальные файлы находятся в классе хранения интеллектуального уровня, если я запускаю свою программу spark поверх файлов LZO интеллектуального уровня, вывод не будет полным (не таким, как при запуске с данными стандартного класса) как с точки зрения данных, так и с точки зренияи результирующий размер файла.
я нашел следующий способ для перевода glacier в стандартный
$ aws s3api restore-object --bucket awsexamplebucket --key dir1/example.obj --restore-request '{"Days":25,"GlacierJobParameters":{"Tier":"Standard"}}'
Я скопировал s3 из текущего местоположения корзины в новое местоположение, и это преобразует данные из интеллектуального в стандартный
есть ли какой-либо другой способ преобразовать интеллектуальный уровень в стандартный класс хранения, если нет, что еще можно для этого сделать. Буду признателен за любую помощь.
Спасибо
Комментарии:
1. Смогли ли вы выяснить, почему в IA у вас возникли проблемы с данными. ?
Ответ №1:
Чтобы изменить класс хранилища существующего объекта, вы должны скопировать его с помощью copy-object . Из документов AWS:
Вы также можете изменить класс хранения объекта, который уже хранится в Amazon S3, на любой другой класс хранения, создав копию объекта с помощью API PUT Object — Copy .
Комментарии:
1. (a) AWS SDK позволяет копировать на себя для обновления на месте. Команда Hadoop fs rename () выполняет копирование в новое дерево каталогов, поэтому она тоже должна поступать правильно.