Блог

У меня есть несколько прокси, которые я хочу использовать с несколькими Scrapy-пауками одновременно, управляя такими вещами, как шаблоны доступа к домену и запреты. Я хочу сделать следующее:

                           > external proxy 1
my_app > my_proxy_daemon  > external proxy 2
                          > external proxy 3
  

По сути, это то, что делает Crawlera.

Какое программное обеспечение на Python было бы проще всего адаптировать к этой задаче? — прокси-сервер для приема запросов — прокси-клиент для ретрансляции запросов — делает все это неблокирующим