Блог

Главная - Вопросы по программированию - Каков наилучший способ тестирования производительности пользователя SQS, чтобы определить максимальное значение TPS, которое может обрабатывать один хост?

Каков наилучший способ тестирования производительности пользователя SQS, чтобы определить максимальное значение TPS, которое может обрабатывать один хост?

#amazon-sqs

#amazon-sqs

Вопрос:

У меня есть пользователь SQS, работающий в EventConsumerService, которому необходимо успешно обрабатывать до 3 Тыс. операций передачи данных, иногда более 20 тыс. операций передачи данных (или 1,2 миллиона сообщений в минуту). Для каждого обработанного сообщения я выполняю REST-вызов TCP VIP DataService. Я пытаюсь выполнить нагрузочный тест, чтобы определить максимальное значение TPS, которое может обрабатывать один хост в EventConsumerService, без перенапряжения:

  1. Объем запросов к зависимостям, хранилище DynamoDB и т. Д
  2. Загрузка ЦП как в EventConsumerService, так и в DataService
  3. Сетевые подключения на хост
  4. Статистика ввода-вывода из-за переполнения
  5. Размер DLQ должен быть минимальным, в настоящее время я вижу, что мой DLQ увеличивается до 500 Тыс. сообщений из-за 500 исключений недоступности службы, выданных из DataService, поэтому что-то должно быть не так.
  6. Приблизительный возраст самого старого сообщения. Я не хочу, чтобы сообщение находилось в очереди более X минут.
  7. Фатальные значения и задержка вызова REST для DataService
  8. Активные потоки

Вот как я выполняю тест производительности:

  1. Я настроил и своего пользователя, и другую службу на одном хосте, причина в том, что я хочу понять нагрузку на обе службы на хост.

  2. Я использую генератор TPS для заполнения очереди SQS миллионом сообщений

  3. Служба EventConsumerService уже запущена в производство. Как только сообщения начали заполнять очередь SQS, я сразу же смог увидеть запросы, отправляемые в DataService.

Вот параметры, которые я настраиваю для поиска сообщений, отправленных в секунду:

 messagesPolledPerSecond = (numberOfHosts * numberOfPollers * messageFetchSize) * (1000/(sleepTimeBetweenPollsPerMs receiveMessageTimePerMs))
messagesInSurge / messagesPolledPerSecond = ageOfOldestMessageSLA
ageOfOldestMessage   settingsUpdatedLatency < latencySLA

Переменные для SqsConsumer, которые я сохранил постоянными, являются:

  1. Количество хостов = 1
  2. ReceiveMessageTimePerMs = 60 мс? Это вне моего контроля
  3. Максимальный размер пула потоков: 300

Все остальные факторы играют роль:

  1. Количество опросчиков (по умолчанию 1), я установил равным 150
  2. Время ожидания между опросами (по умолчанию 100 мс), я установил равным 0 мс
  3. Время ожидания при отсутствии сообщений (по умолчанию 1000 мс), ???
  4. размер выборки сообщений (по умолчанию 1), я установил равным 10

Однако с указанными выше параметрами я вижу большое количество сообщений, отправляемых в DLQ из-за ошибок сервера, поэтому очевидно, что я установил слишком высокие значения. Эта методология тестирования кажется крайне неэффективной, и я не могу найти оптимальный TPS, который не приводит к отправке такого огромного количества сообщений в DLQ и не приводит к такому высокому приблизительному возрасту самого старого сообщения.

Приветствуются любые рекомендации относительно того, как мне лучше всего проводить тестирование. Было бы очень полезно, если бы мы могли назначить время для общения. Напишите мне напрямую