#python #django #scrapy
#python #django #scrapy
Вопрос:
Я хочу запустить много пауков с помощью моего scrapy. Замедляет ли это процесс обхода или есть какие-либо ограничения для запуска пауков? Запуск множества неограниченных пауков замедляет процесс?
Есть ли кто-нибудь, кто имеет опыт работы со Scrapy?
Ответ №1:
Вы можете запускать несколько пауков одновременно, и нет, это не замедлит процесс.
Комментарии:
1. Предполагая, что ваши пауки никогда не будут привязаны к процессору, т.Е. Сетевой ввод / вывод (запросы) остается медленнее, чем код Python, который вы используете (для обработки этих ответов).