Очистка данных с карты с помощью selenium

#python #selenium #web-scraping #beautifulsoup #scrapy

#python #селен #веб-очистка #beautifulsoup #scrapy

Вопрос:

Привет, я пытаюсь очистить данные с этого веб-сайта, отображаемые на карте Google, они будут работать нормально 2 раза, но при использовании selenium в третий раз выдается ошибка. вот мой код :

 import selenium
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from shutil import which
import time
import pandas as pd
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException
Names = []
Emails = []
chrome_path = which('chromedriver')
driver = webdriver.Chrome(executable_path=chrome_path)
driver.maximize_window()
error = []
Address = []
Debug = []
for a in range(1,72):

    driver.get('https://www.boogsport.vlaanderen/zoek-een-club/')

    try:

        driver.find_element_by_xpath('//button[@id="oc_cb_btn"]').click()
    except:
        error.append("NOne")
    WebDriverWait(driver, 10).until(EC.frame_to_be_available_and_switch_to_it((By.XPATH,'//div[@class="entry-content"]/iframe')))

    xpath = "//div[@aria-label='Map']/div[3]/div/div/div["
    xpath  = str(a)
    xpath  = "]"
    

    driver.find_element_by_xpath(xpath).click()
    # WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, xpath))).click()
    # time.sleep(2)

    name = driver.find_element_by_xpath('//div[@class="qqvbed-bN97Pc"]/div[1]/div[1]/div[2]')
    Names.append(name.text)
    try:

        mail = driver.find_element_by_xpath('//div[@class="qqvbed-bN97Pc"]/div[1]/div[2]/div[2]/a')
        Emails.append(mail.get_attribute('href'))
    except:
        Emails.append("None")
    try:

        adress = driver.find_element_by_xpath('//div[@class="qqvbed-bN97Pc"]/div[2]/div[2]')
        Address.append(adress.text)
    except:
        Address.append("None")

  


df = pd.DataFrame(Names , columns = ['Name'])
df['Email'] = Emails
df['Address'] = Address
print(df)
 

и я получаю эту ошибку:

вызовите класс исключений (сообщение, экран, трассировка стека) selenium.common.exceptions.Исключение ElementClickInterceptedException: Сообщение: щелчок элемента перехвачен: Элемент … не доступен для просмотра в точке (616, 132). Другой элемент получит щелчок: (Информация о сеансе: chrome = 87.0.4280.88)

У кого-нибудь есть идеи, в чем проблема?

Ответ №1:

Вы не можете обработать исключение элемента без NoSuchElementException

Если первый щелчок не сработал, попробуйте следующее:

 from selenium.common.exceptions import NoSuchElementException

try:
    element = driver.find_element_by_xpath(".//button[@id="oc_cb_btn"]")
    elem.click()
except NoSuchElementException:
    error.append("None")

 

для второго клика попробуйте сделать следующее:

 from selenium.common.exceptions import NoSuchElementException

try:
    driver.find_element_by_xpath(xpath).click()
except NoSuchElementException:
    pass

 

Я надеюсь, что это сработает. Дайте нам знать.