Блог

Если на веб-сайте есть распродажа, когда многие люди (~ 50 тыс.) ждут окончания обратного отсчета и переходят на страницу, как можно решить эту проблему с помощью GKE экономически эффективным способом?

Похоже, это причина существования GKE, решение может заключаться в том, что с помощью автоскалятора кластера и HPA GKE может обрабатывать трафик. На практике, однако, это другая история, когда автоскейлер пытается создать узлы и извлечь изображение для контейнеров, это может занять до определенного времени (возможно, до минуты или двух в некоторых случаях). За это время пользователи видят 5XX ошибок, что не идеально.

Что ж, чтобы справиться с этим, на ум приходит избыточная подготовка с помощью приостановленных модулей. Однако, учитывая, что серверы, как правило, очень малы по размеру (они должны обрабатывать только 100 запросов в обычный день) и внезапно 50 тыс. в секунду, как это может быть приемлемым решением? Приостановленные модули, похоже, только гарантируют, что автоскалер не удаляет узлы, которые не работают, поэтому в этом случае 50 узлов всегда должны быть заняты приостановленными модулями, которые, как я предполагаю, по-прежнему оплачиваются (поскольку узлы там просто ничего не делают) в GKE.

Какое было бы приемлемое решение для обслуживания 100 запросов с помощью n1-standard-1 каждый день, но также иметь возможность масштабироваться до ~ 50 тыс. менее чем за 10 секунд?

Не так быстро, как 10 секунд. Это достижимо, только если вы отключите сервер.

Автоматическое масштабирование модулей лучше всего составляет 20-30 секунд (зависит от ваших тестов готовности, тестов балансировки нагрузки, кэша изображений и т. Д.). Но вам все равно нужно иметь пул узлов, чтобы соответствовать этой емкости, а это те же деньги — вы правы.

Автоматическое масштабирование узлов модулей занимает около 5 минут.

Если вы переходите на бессерверный режим, убедитесь, что вы знаете (увеличиваете?) лимиты своей учетной записи. Поскольку он масштабируется так быстро и оплачивается за лямбда-запуск, было очень легко случайно увеличить ваш счет. Таким образом, все провайдеры ограничили количество одновременных выполнений функций по умолчанию, например, AWS по умолчанию имеет 1000 на учетную запись. https://aws.amazon.com/about-aws/whats-new/2017/05/aws-lambda-raises-default-concurrent-execution-limit/. Это может быть увеличено за счет поддержки.

Я вспоминаю этот пост для AWS: https://aws.amazon.com/blogs/startups/from-0-to-100-k-in-seconds-instant-scale-with-aws-lambda /. К сожалению, я не видел похожих записей для функций Google, но я уверен, что у них очень похожие возможности.