Синтаксический анализ нескольких веб-страниц с использованием Python

#python #web-scraping

#python #очистка веб-страниц

Вопрос:

Я пытаюсь проанализировать несколько веб-страниц для извлечения определенного текста и изображений. До сих пор мне удавалось проанализировать одну страницу, но я ищу способ запустить скрипт на всех страницах по следующей ссылке: http://www.bbc.co.uk/food/recipes/search?cuisines []= британцы (их 108).

Мне в основном нужны изображения вместе с текстом рядом с ними.

Ответ №1:

Я приложил слишком много усилий к этому, прежде чем понял, что вам просто нужен цикл for.

Вот URL-адрес той же страницы, только на этот раз с номером страницы в качестве аргумента:

 http://www.bbc.co.uk/food/recipes/search?page=1amp;cuisines[0]=britishamp;sortBy=lastModified

Измените номер страницы, и вы сможете получить все 108 из них.

 for i in range(1,109):
    url = "http://www.bbc.co.uk/food/recipes/search?page={pagenum}amp;cuisines[0]=britishamp;sortBy=lastModified".format(pagenum = i)
    doYourThing(url)