Как конвертировать файлы в s3 с интеллектуального уровня на стандартный уровень

#amazon-web-services #amazon-s3

#amazon-web-services #amazon-s3

Вопрос:

У меня есть файлы LZO в корзине S3, за исключением последних файлов LZO, все остальные файлы находятся в классе хранения интеллектуального уровня, если я запускаю свою программу spark поверх файлов LZO интеллектуального уровня, вывод не будет полным (не таким, как при запуске с данными стандартного класса) как с точки зрения данных, так и с точки зренияи результирующий размер файла.

я нашел следующий способ для перевода glacier в стандартный

 $ aws s3api restore-object --bucket awsexamplebucket --key dir1/example.obj --restore-request '{"Days":25,"GlacierJobParameters":{"Tier":"Standard"}}'
 

Я скопировал s3 из текущего местоположения корзины в новое местоположение, и это преобразует данные из интеллектуального в стандартный

есть ли какой-либо другой способ преобразовать интеллектуальный уровень в стандартный класс хранения, если нет, что еще можно для этого сделать. Буду признателен за любую помощь.

Спасибо

Комментарии:

1. Смогли ли вы выяснить, почему в IA у вас возникли проблемы с данными. ?

Ответ №1:

Чтобы изменить класс хранилища существующего объекта, вы должны скопировать его с помощью copy-object . Из документов AWS:

Вы также можете изменить класс хранения объекта, который уже хранится в Amazon S3, на любой другой класс хранения, создав копию объекта с помощью API PUT Object — Copy .

Комментарии:

1. (a) AWS SDK позволяет копировать на себя для обновления на месте. Команда Hadoop fs rename () выполняет копирование в новое дерево каталогов, поэтому она тоже должна поступать правильно.