Блог

Я пытаюсь определить размер домашних страниц списка сайтов, используя многопроцессорность. Ниже приведен код :

 import time
from multiprocessing import Pool, TimeoutError

start = time.time()


def sitesize(url):
    for url in sites:
        with urllib.request.urlopen(url) as u:
            page = u.read()
            print(url, len(page))


sites = [
    'https://www.yahoo.com',
    'http://www.cnn.com',
    'http://www.python.org',
    'http://www.jython.org',
    'http://www.pypy.org',
    'http://www.perl.org',
    'http://www.cisco.com',
    'http://www.facebook.com',
    'http://www.twitter.com',
    'http://arstechnica.com',
    'http://www.reuters.com',
    'http://www.abcnews.com',
    'http://www.cnbc.com',
]

if __name__ == '__main__': 

    with Pool(processes=4) as pool:
        for result in pool.imap_unordered(sitesize, sites):
            print(result)

print(f'Time taken : {time.time() - start}')
  

У меня ноутбук на Windows 10 с запущенным Python 3.9. Я не использую venv.

Этот код переходит в цикл — выполняется 4 раза и занимает в 4 раза больше времени.

В чем здесь ошибка? Кто-нибудь может помочь?

Заранее спасибо

Sachin

Я думаю, вы неправильно поняли, как pool.imap_unordered работает, предоставленная функция будет вызвана с одним из значений из sites , тогда как в вашем случае вы фактически полностью отбрасываете предоставленное url и выполняете цикл по всем значениям в sites списке.

Вы должны просто сделать

 def sitesize(url):
    with urllib.request.urlopen(url) as u:
        page = u.read()
        print(url, len(page))
  

Смотрите документ.

Несколько проблем:

 def sitesize(url):
    result = {}
    for url in sites:
        with urllib.request.urlopen(url) as u:
            page = u.read()
            result[url] = len(page)
    return result
  

• sitesize ничего не возвращает -> смотрите выше, что вам нужно иметь
• нет необходимости в цикле for result in pool.imap_unordered(sitesize, sites): —> изменить на result = pool.map(sitesize, sites)