Блог

Я не могу понять, как следить за нумерацией страниц на этом сайте (проверьте start_urls). Что он делает, так это открывает webdriver, успешно захватывает данные с 1-й страницы и при загрузке второй закрывает webdriver и все.

 import scrapy
from lxml.html import fromstring
from ..items import PontsItems
from selenium import webdriver


class Names(scrapy.Spider):
    name = 'enseafr'

    download_delay = 5.0

    start_urls = ['https://www.ponts.org/fr/annuaire/recherche?result=1amp;annuaire_mode=standardamp;annuaire_as_no=amp;keyword=amp;PersonneNom=amp;PersonnePrenom=amp;DiplomePromo[]=2023amp;DiplomePromo[]=2022amp;DiplomePromo[]=2021amp;DiplomePromo[]=2020amp;DiplomePromo[]=2019amp;DiplomePromo[]=2018amp;DiplomePromo[]=2017amp;DiplomePromo[]=2016amp;DiplomePromo[]=2015amp;DiplomePromo[]=2014amp;DiplomePromo[]=2013amp;DiplomePromo[]=2012amp;DiplomePromo[]=2011amp;DiplomePromo[]=2010']

    def __init__(self):
        self.driver = webdriver.Chrome()

    def parse(self, response):
        items = PontsItems()
        self.driver.get(response.url)

        next = self.driver.find_element_by_xpath('//a[@class="next"]')
        #'//*[@id="zoneAnnuaire_layout"]/div[3]/div[2]/div[3]/div[11]/a[4]'
        while True:

            try:
                next.click()

                for item in response.xpath('//div[@class="single_desc"]'):
                    name = item.xpath('./div[@class="single_libel"]/a/text()').get().strip()
                    description = item.xpath('./div[@class="single_details"]/div/text()').get()
                    description = fromstring(description).text_content().strip()
                    year = item.xpath('./div[@class="single_details"]/div/b/text()').get()

                    items['name'] = name
                    items['description'] = description
                    items['year'] = year
                    yield items

            except:
                break

        self.driver.close()
  

Я действительно застрял на этом уже несколько дней.

Я не знаю, как использовать PontItems(), но я могу использовать пустой список, чтобы показать, как я буду возвращать данные следующим образом. Он возвращает текущий список, если есть ошибка, и добавляется в список каждый раз, когда вы нажимаете рядом с новой страницей. У вас есть только один элемент, поэтому используйте find_elements .

 items=[]
while True:
    try:
        next = self.driver.find_element_by_xpath('//a[@class="next"]')
        next.click()
        descs = self.driver.find_elements_by_xpath('//div[@class="single_desc"]')
        for item in descs :
            name = item.xpath('./div[@class="single_libel"]/a/text()').get().strip()
            description = item.xpath('./div[@class="single_details"]/div/text()').get()
            description = fromstring(description).text_content().strip()
            year = item.xpath('./div[@class="single_details"]/div/b/text()').get()
            items.append({'name':name,'description':description,'year':year})
    except:
        break
yield items