Блог

Я хочу получать статьи с нескольких веб-сайтов. Я пробовал это, но я не знаю, что мне делать дальше

 lm_paper = newspaper.build('https://www.lemonde.fr/')
parisien_paper = newspaper.build('https://www.leparisien.fr/')

papers = [lm_paper, parisien_paper]
news_pool.set(papers, threads_per_source=2) # (3*2) = 6 threads total
news_pool.join()
  

Ниже приведен способ использования newspaper news_pool.Я заметил, что время обработки для news_pool занимает много времени, потому что для начала печати заголовков требуются минуты. Я считаю, что эта задержка связана со статьями, загружаемыми в фоновом режиме. Я не уверен, как ускорить этот процесс с помощью газеты.

 import newspaper
from newspaper import Config
from newspaper import news_pool

USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:78.0) Gecko/20100101 Firefox/78.0'

config = Config()
config.browser_user_agent = USER_AGENT
config.request_timeout = 10

lm_paper = newspaper.build('https://www.lemonde.fr/', config=config, memoize_articles=False)
parisien_paper = newspaper.build('https://www.leparisien.fr/', config=config, memoize_articles=False)
french_papers = [lm_paper, parisien_paper]

# this setting is adjustable 
news_pool.config.number_threads = 2

# this setting is adjustable 
news_pool.config.thread_timeout_seconds = 1

news_pool.set(french_papers)
news_pool.join()

for source in french_papers:
for article_extract in source.articles:
    if article_extract:
        article_extract.parse()
        print(article_extract.title)