#amazon-web-services #amazon-kinesis-firehose
#amazon-веб-сервисы #amazon-kinesis-пожарный шланг
Вопрос:
У нас есть приложение, которое принимает 10 Тыс. запросов в секунду, помещает их в S3, а затем обрабатывает.
В настоящее время мы используем Kafka, но мы хотели бы заменить его Firehose по разным причинам (обслуживание, стоимость и т.д.). Я настроил API Gateway с помощью Firehose и без какого-либо кодирования смог сохранять свои запросы в S3 в файлах parquet.
Теперь начинается оценка стоимости. В примере Amazon 500 записей в секунду будут стоить 216 долларов в месяц. Размер записи округлен до 5 КБ. В нашем случае 10 тыс. запросов в секунду будут стоить в 20 раз дороже.
Размер нашей записи составляет 1,5 тыс. Поэтому имеет смысл упаковать несколько записей в одну. Я не нашел примера того, как это легко сделать. Я не хочу внедрять это приложение самостоятельно, потому что необходимо управлять множеством крайних случаев. И для меня это кажется довольно распространенным случаем, который должен быть уже реализован.
Существует ли стандартный способ (сервис AWS, проект github и т.д.), Который можно использовать для упаковки записей?
Или есть лучшее решение моей проблемы?
Комментарии:
1. Я думаю, что ваша большая стоимость здесь будет составлять API Gateway по цене 3,50 доллара за миллион запросов. При 10 тыс. запросов в секунду вы обрабатываете 1 млн запросов каждые 100 секунд, то есть более 3,50 долл. каждые две минуты. Даже при более высоких объемных тарифах (до 1,51 доллара за миллион запросов) это, похоже, будет стоить более 40 тысяч долларов в месяц.
2. @Николас. хаушильд, да, ты абсолютно прав. Я полностью пропустил эту часть. Действительно, в этом случае миграция не имеет смысла. Большое вам спасибо, что указали на это.