Лучший способ подсчета количества запросов с IP-адреса в течение 5 минут к балансировщику нагрузки приложения

#amazon-web-services #aws-application-load-balancer #amazon-waf

#amazon-web-services #aws-application-load-balancer #amazon-waf

Вопрос:

Я пытаюсь использовать AWS WAF для установки ограничения скорости для балансировщика нагрузки приложения.

Единственное, что мне кажется сложным, это подсчитать количество запросов, отправленных с каждого IP-адреса.

В настоящее время я подсчитываю это число с помощью Excel для анализа журнала доступа балансировщика нагрузки.

Это действительно неудобно, потому что период времени файла журнала ( 123456789123_elasticloadbalancing_<my_region>_app.awseb-AWSEB-KOAJA32RNYD8.3doo93xxx07e93c7_20200210T0010Z_13.232.79.235_3o9wv54o.log.gz ) составляет всего 5 минут.

Чтобы проанализировать 24-часовой период времени, я должен загрузить и извлечь 24 * 60 / 5 = 288 файлы журналов, хранящиеся в корзине S3.

Возможно ли получить количество запросов для каждого IP-адреса в течение 5 минут непосредственно из AWS WAF?

Комментарии:

1. Если вы хотите точно подсчитать количество запросов на IP-адрес, я предлагаю использовать скрипт python для чтения содержимого файлов журналов, чтобы подсчитать его (требуется базовый навык python). Я думаю, вы просто устанавливаете предельную базу для своей оценки, отслеживаете ее и поддерживаете число позже

Ответ №1:

Вы смотрели S3 Select (https://docs.aws.amazon.com/AmazonS3/latest/dev/s3-glacier-select-sql-reference-select.html )? Здесь может быть найдено решение.