Блог

Главная - Вопросы по программированию - Очистка нескольких URL-адресов selenium

Очистка нескольких URL-адресов selenium

#python #selenium #web-scraping

Вопрос:

Я новичок в кодировании, но я написал этот код, который отлично обрезает страницу, но я хочу очистить несколько таких URL-адресов, как 200, как мне это сделать?

 from selenium import webdriver

chrome_path = r"C:UserslenovoDownloadschromedriver_win32 (5)chromedriver.exe"

driver = webdriver.Chrome(chrome_path)

driver.get("https://www.kijijiautos.ca/vip/22442312")

driver.find_element_by_xpath('//div[@class="b1yLWE b3zFtQ"]').text

btn = driver.find_element_by_xpath('//button[@class="g1zAe-"]')

btn.click()

driver.find_elements_by_xpath('//span[@class="A2jAym q2jAym"]').text

driver.find_element_by_xpath('//div[@class="b1yLWE b1zAe-"]').text

print(driver.current_url)

Комментарии:

1. Вы можете просто зациклить свой код.

2. Я действительно ничтожество, не могли бы вы, пожалуйста, показать мне, что такое петля, спасибо, чувак

3. Пожалуйста, проясните вашу конкретную проблему или предоставьте дополнительные сведения, чтобы точно указать, что вам нужно. Поскольку это написано в настоящее время, трудно точно сказать, о чем вы просите.

Ответ №1:

Что-то вроде ниже

 from selenium import webdriver

chrome_path = r"C:UserslenovoDownloadschromedriver_win32 (5)chromedriver.exe"

driver = webdriver.Chrome(chrome_path)


def get_scarping(link):
    driver.get(link)
    driver.find_element_by_xpath('//div[@class="b1yLWE b3zFtQ"]').text
    btn = driver.find_element_by_xpath('//button[@class="g1zAe-"]')
    btn.click()
    driver.find_elements_by_xpath('//span[@class="A2jAym q2jAym"]').text
    driver.find_element_by_xpath('//div[@class="b1yLWE b1zAe-"]').text
    print(driver.current_url)
    return driver.current_url 


links = ["https://www.kijijiautos.ca/vip/22442312", "other_urls"]
scrapings = []
for link in links:
    scrapings.append(get_scarping(link))

Ответ №2:

Просто добавьте для цикла

 from selenium import webdriver
chrome_path = r"C:UserslenovoDownloadschromedriver_win32 (5)chromedriver.exe"
driver = webdriver.Chrome(chrome_path)
for x in range(200):
    driver.get("https://www.kijijiautos.ca/vip/22442312")
    driver.find_element_by_xpath('//div[@class="b1yLWE b3zFtQ"]').text
    btn = driver.find_element_by_xpath('//button[@class="g1zAe-"]')
    btn.click()
    driver.find_elements_by_xpath('//span[@class="A2jAym q2jAym"]').text
    driver.find_element_by_xpath('//div[@class="b1yLWE b1zAe-"]').text
    print(driver.current_url)
Метки: