#amazon-web-services #amazon-s3
#amazon-web-services #amazon-s3
Вопрос:
Ограничения пропускной способности S3 для каждого префикса, а не для каждого объекта:
ваше приложение может выполнять не менее 3500 запросов ВВОДА / КОПИРОВАНИЯ / ПУБЛИКАЦИИ / УДАЛЕНИЯ или 5500 запросов GET / HEAD в секунду на каждый префикс в корзине AWS Docs
Похоже, из этого следует, что если я помещу каждый из моих объектов s3 в префикс (сам по себе), я смогу эффективно использовать указанную выше пропускную способность для каждого объекта.
Однако я немного подозрительно отношусь к этому выводу. Если это правда, зачем кому-то рассматривать сегментирование записи s3, что немного сложнее?
Чтобы уточнить, что я рассматриваю, всякий раз, когда я собираюсь сохранить объект в s3 (например foo/bar/baz.txt ), я сохраняю, добавляю папку, чтобы файл имел свой собственный префикс (например). foo/bar/baz.txt/baz.txt ). Теперь я могу выполнять 5500 операций чтения в секунду для объекта baz.txt (без префикса, эти 5500 операций чтенияв секунду будет разделяться между всеми объектами в foo/bar/ ).
Комментарии:
1. Я думаю, у вас неправильная ссылка на «сегментирование записи s3»?
2. Есть ли какая-то конкретная проблема, которую вы пытаетесь решить? У вас возникли какие-либо проблемы с текущей пропускной способностью?
3. @Marcin, я дважды проверил. Выглядит правильно для меня? Помещение файлов в несколько префиксов для увеличения пропускной способности.
4. @JohnRotenstein, да, я заметил 503 ошибки замедления. Одним из предлагаемых решений является экспоненциальное отклонение. Другой способ — использовать префиксы для распределения трафика. Последнее привело меня к этой идее.
5. Я знаю, что префиксы верны, но и то, что вы предлагаете, должно. Каждый префикс получит 3500/5000 запросов.