#amazon-web-services #amazon-s3 #boto3 #boto #botocore
#amazon-веб-сервисы #amazon-s3 #бото3 #бото #botocore #boto3
Вопрос:
Интересно, каково поведение Amazon S3 при увеличении количества сегментов? предположительно, согласно документации:
По умолчанию в каждой учетной записи AWS можно создать до 100 сегментов. Если вам нужны дополнительные корзины, вы можете увеличить лимит корзины вашей учетной записи максимум до 1000 корзин, подав заявку на увеличение лимита обслуживания. Нет никакой разницы в производительности, используете ли вы много сегментов или всего несколько.
Поэтому мне интересно узнать график производительности S3 в зависимости от количества сегментов.
Комментарии:
1. «разницы в производительности нет»
2. Но когда вы пытаетесь найти объект, он вычисляет хэш ключа объекта. поэтому, когда количество сегментов будет как можно больше, будет большое хэш-пространство, и это повлияет на операции поиска.
3. Или, может быть, это не так. Я бы доверял документации Amazon. Они создали эту штуку, они знают, как она работает и масштабируется.
Ответ №1:
Количество объектов, хранящихся в корзине, не ограничено. Теоретически вы могли бы сделать все из одного сегмента. Или, возможно, по одному сегменту на регион.
Когда сегменты содержат миллионы объектов, перечисление содержимого корзины может стать очень медленным. Здесь вы можете использовать инвентарь Amazon S3, который может предоставлять ежедневный или еженедельный CSV-файл со списком всех объектов.
Помимо перечисления содержимого корзины, на производительность не должен влиять размер корзины. Тем не менее, смотрите: Лучшие практики Шаблоны проектирования: оптимизация производительности Amazon S3
Комментарии:
1. Вопрос касался количества сегментов, а не размера сегмента. В качестве примера, производительность 1000 сегментов равна состоянию со 100 сегментами?
2. Количество сегментов, назначенных одной учетной записи, ни на что не повлияет. У Amazon S3 миллионы клиентов и миллионы сегментов. Создание еще одной корзины не влияет на производительность корзины.