#python #selenium #web-scraping #beautifulsoup #scrapy
#python #селен #веб-очистка #beautifulsoup #scrapy
Вопрос:
Привет, я пытаюсь очистить данные с этого веб-сайта, отображаемые на карте Google, они будут работать нормально 2 раза, но при использовании selenium в третий раз выдается ошибка. вот мой код :
import selenium
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from shutil import which
import time
import pandas as pd
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException
Names = []
Emails = []
chrome_path = which('chromedriver')
driver = webdriver.Chrome(executable_path=chrome_path)
driver.maximize_window()
error = []
Address = []
Debug = []
for a in range(1,72):
driver.get('https://www.boogsport.vlaanderen/zoek-een-club/')
try:
driver.find_element_by_xpath('//button[@id="oc_cb_btn"]').click()
except:
error.append("NOne")
WebDriverWait(driver, 10).until(EC.frame_to_be_available_and_switch_to_it((By.XPATH,'//div[@class="entry-content"]/iframe')))
xpath = "//div[@aria-label='Map']/div[3]/div/div/div["
xpath = str(a)
xpath = "]"
driver.find_element_by_xpath(xpath).click()
# WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, xpath))).click()
# time.sleep(2)
name = driver.find_element_by_xpath('//div[@class="qqvbed-bN97Pc"]/div[1]/div[1]/div[2]')
Names.append(name.text)
try:
mail = driver.find_element_by_xpath('//div[@class="qqvbed-bN97Pc"]/div[1]/div[2]/div[2]/a')
Emails.append(mail.get_attribute('href'))
except:
Emails.append("None")
try:
adress = driver.find_element_by_xpath('//div[@class="qqvbed-bN97Pc"]/div[2]/div[2]')
Address.append(adress.text)
except:
Address.append("None")
df = pd.DataFrame(Names , columns = ['Name'])
df['Email'] = Emails
df['Address'] = Address
print(df)
и я получаю эту ошибку:
вызовите класс исключений (сообщение, экран, трассировка стека) selenium.common.exceptions.Исключение ElementClickInterceptedException: Сообщение: щелчок элемента перехвачен: Элемент … не доступен для просмотра в точке (616, 132). Другой элемент получит щелчок: (Информация о сеансе: chrome = 87.0.4280.88)
У кого-нибудь есть идеи, в чем проблема?
Ответ №1:
Вы не можете обработать исключение элемента без NoSuchElementException
Если первый щелчок не сработал, попробуйте следующее:
from selenium.common.exceptions import NoSuchElementException
try:
element = driver.find_element_by_xpath(".//button[@id="oc_cb_btn"]")
elem.click()
except NoSuchElementException:
error.append("None")
для второго клика попробуйте сделать следующее:
from selenium.common.exceptions import NoSuchElementException
try:
driver.find_element_by_xpath(xpath).click()
except NoSuchElementException:
pass
Я надеюсь, что это сработает. Дайте нам знать.