Блог

Я создал паука, который очищает определенный веб-сайт, и он работает нормально, я использовал для этого scrapy. Паук очистил все 430 веб-страниц, которые я хотел очистить, перейдя по ссылке «следующая страница». Проблема в том, что site / scraper также перенаправляет на 431-ю страницу, которая пуста. И так далее. Поэтому скребок не перестанет скрести!

Кто-нибудь может помочь мне остановить webscraper после того, как все соответствующие страницы 430 будут очищены?? HTML-код на последней, релевантной странице выглядит следующим образом::

Мой код:

 next_page = response.xpath('//a[@id="nextWebshopsPage"]').attrib['href']
    if next_page is not None:
        yield response.follow(next_page, callback=self.parse)
 

Вам нужно указать в предикате, что кнопка не должна быть отключена:

 '//a[@id="nextWebshopsPage" and not(@disabled)]'