Блог

Я пытаюсь очистить веб-сайт для исследования, и я застрял. Я хочу, чтобы скребок считывал источник страницы и добавлял его в локальный HTML-файл, чтобы я мог анализировать данные за пределами кампуса. Я экспериментировал с BeautifulSoup и Scrapy , но обнаружил, что мне нужно использовать Selenium для взаимодействия со страницей для навигации по системе аутентификации моего университета. (Я не включаю этот код, потому что он имеет отношение к моему вопросу.)

Когда я запускаю скрипт, он переходит на страницу и щелкает по ссылке, но сохраняет только HTML первой страницы. Затем он дублирует и добавляет HTML этой страницы каждый раз, когда нажимает на ссылку.

Как мне использовать Selenium , чтобы щелкнуть ссылку на следующую страницу, очистить HTML и сохранить в файл, пока я не дойду до последней страницы?

 source = driver.page_source

while True:
    with open("test.html", "a") as TestFile:
        TestFile.write(source)
        try:
            driver.implicitly_wait(200)
            driver.find_element_by_css_selector('li.next').click()
        except AttributeError:
            break
  

Редактировать: я добавил AttributeError к except и получил следующую ошибку.

selenium.common.exceptions.Исключение StaleElementReferenceException: Сообщение: устаревшая ссылка на элемент: элемент не прикреплен к документу страницы

Я предполагаю, что мне нужно замедлить .click() , поэтому у меня изначально было неявное ожидание, но, похоже, это не помогает.

Вам нужно назначить page source source переменную to внутри цикла while.

 source = driver.page_source

while True:
with open("test.html", "a") as TestFile:
    TestFile.write(source)
    try:
        driver.implicitly_wait(200)
        driver.find_element_by_css_selector('li.next').click()
        source = driver.page_source
    except AttributeError:
        break