#http #networking
#http #сеть
Вопрос:
Я делаю сотни запросов с узла на веб-сайт wikia (а именно https://bindingofisaacrebirth.gamepedia.com/ ).
После переменного количества запросов запросы просто зависают на неопределенный срок, и мне нужно подождать некоторое время, прежде чем продолжить.
Я бы взял это для защиты от DDOS, однако запросы из браузера не зависают (они лишь иногда немного замедляются на несколько секунд). Даже если я скопирую некоторые заголовки (cookie / user-agent) на узел, он все равно зависает, а браузер — нет.
Что здесь может быть причиной? Как мне это сделать? Какие инструменты мне нужны?
Комментарии:
1. Код может отправлять запросы намного быстрее, чем человек способен в браузере, вы пытались измерить среднее время, необходимое для отправки запроса в узле? Используете ли вы какие-либо библиотеки для отправки запросов? (если да, возможно, что-то в библиотеке может ограничивать скорость, вам следует ознакомиться с документацией для вашей конкретной библиотеки, если вы считаете, что это может быть так)
2. @Expolarity Это происходит со всеми HTTP-библиотеками, которые я пробовал, и их было более 4. Выборки в браузере также выполнялись скриптом, это был просто цикл while-true-await-fetch.