Блог

Я выполняю задание для отправки запросов на 1000 конкретных веб-сайтов (некоторые из которых, похоже, больше не существуют) в Python (3) с помощью метода HEAD и сообщаю статистику о заголовках их ответов. Скрипт должен завершиться через пять минут. Очевидно, что запросы могут занимать меньше времени, уменьшая время ожидания, но чем больше вы уменьшаете время ожидания, тем больше возникает ошибок времени ожидания, и их перехват кажется очень дорогостоящим. Например, когда время ожидания составляло 0,3 секунды, было 700 хороших запросов и 300 ошибок тайм-аута, а общее время, затраченное на обнаружение ошибок тайм-аута, само по себе превышало пять минут. Уменьшение времени ожидания действительно сокращает время для обнаружения каждой ошибки тайм-аута, поскольку requests приходится ждать тайм-аута, прежде чем выдавать ошибку, но количество тайм-аутов также увеличивается. Мне удалось получить общее время, затраченное на обнаружение ошибок тайм-аута, меньше пяти минут при тайм-ауте = 0,05 и тайм-ауте = 0,03, но общее время, включая время, затраченное на запросы, все еще превышало пять минут. тайм-аут = 0,02 привел к тому, что были доступны только 20 сайтов с общим временем обработки ошибок 5: 17, а тайм-аут = 0,01 привел к тому, что сайты не были доступны. Человек, который дал задание, настаивает на том, что это возможно, поэтому я, должно быть, делаю что-то не так. Я попытался использовать запросы.Объект сеанса, но это не привело к какому-либо заметному ускорению. Что еще я могу сделать, чтобы ускорить процесс?

Реальный ответ — использовать асинхронные HTTP-запросы. Но чтобы этически ответить на этот вопрос, я должен настаивать на низком пределе для домена для одновременных запросов, иначе вы можете перегрузить серверы (и попасть в черный список).

Ниже приведен (непроверенный) пример реализации с использованием aiohttp , который поддерживает настраиваемое количество максимального параллелизма, а также максимальный параллелизм на домен.

 import aiohttp
import asyncio
from collections import Counter

NUM_PARALLEL = 64
MAX_PARALLEL_PER_DOMAIN = 4
TIMEOUT = aiohttp.ClientTimeout(total=60)



async def fetch_url(url, session):
    try:
        async with session.get(url) as response:
            # Whatever you want.
            return {
                "url": url,
                "status": response.status,
                "content-type": response.headers["content-type"]
            }
    except aiohttp.ServerTimeoutError:
        return {"url": url, "status": "timeout"}
    except Exception as e:
        return {"url": url, "status": "uncaught_exception", "exception": e}


domain_num_inflight = Counter()
domain_semaphore = {}


async def worker(urls, results):
    async with aiohttp.ClientSession(timeout=TIMEOUT) as session:
        while urls:
            url = urls.pop()
            domain = urlparse(url).netloc

            if domain_num_inflight[domain] == 0:
                domain_semaphore[domain] = asyncio.Semaphore(MAX_PARALLEL_PER_DOMAIN)
            domain_num_inflight[domain]  = 1
            async with domain_semaphore[domain]:
                results.append(await fetch_url(url, session))
            domain_num_inflight[domain] -= 1
            if domain_num_inflight[domain] == 0:  # Prevent memory leak.
                del domain_semaphore[domain]
                del domain_num_inflight[domain]


urls = [...]
worklist = urls[:]
results = []
workers = [worker(worklist, results) for _ in range(NUM_PARALLEL)]
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.gather(*workers))
print(results)