#python #selenium
#python #селен
Вопрос:
Я действительно новичок в веб-очистке. Есть ли кто-нибудь, кто мог бы рассказать мне, как искать на google.com с Селеном в Python?
Ответ №1:
Чтобы выполнить поиск по google чему-либо, попробуйте следующее:
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://www.google.com/')
textbox = driver.find_element_by_xpath('//input[@name="q"]')
textbox.send_keys('who invented pythonn')
Комментарии:
1. Привет, @Sushil Я попробовал код, но возникла эта ошибка:
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//*[@id="tsf"]/div[2]/div[1]/div[1]/div/div[2]/input"}Это может быть связано с тем, что появляется предупреждение о cookie?
Ответ №2:
Селен, вероятно, не самый лучший. другие библиотеки / инструменты будут работать лучше. BeautifulSoup — первое, что приходит на ум
Комментарии:
1. Спасибо, я изучу это
Ответ №3:
Не используйте Selenium, для этого есть другие инструменты, более подходящие. Имейте в виду, что Google не одобряет очистку результатов поиска:
Google не предпринимает юридических действий против очистки, вероятно, по соображениям самозащиты. Однако Google использует ряд защитных методов, что делает сбор результатов сложной задачей.
Источник: https://en.wikipedia.org/wiki/Search_engine_scraping
Комментарии:
1. Какие другие инструменты вы бы порекомендовали?
2. Я никогда не использовал его, но github.com/scrapy/scrapy , dzone.com/articles/getting-started-with-scrapy похоже, стоит попробовать. Но и BeautiulSoup должен быть в порядке.