#python #selenium #web-scraping #cookies #popup
Вопрос:
В течение нескольких дней я ищу способ решить свою проблему, но я не нашел ничего, что сработало бы. Я создаю программу, которая очищает веб-сайт, и я хочу собрать все содержимое тегов » p » и «hn». Моя единственная проблема заключается в том, что на каком-то веб-сайте появляется всплывающее окно cookie, которое не позволяет мне правильно очищать.
И дело в том, что я очищаю все типы веб-сайтов, поэтому это означает, что это не всегда один и тот же шаблон, и принятие xpath / cssSelector практически невозможно.
Я перепробовал много вещей, например, поиск кнопок, а затем поиск, есть ли внутри них «принять» :
try: btns = driver.find_elements_by_tag_name('button') btntxt = [elem.text for elem in btns] print(btntxt) btntitle = [elem.get_attribute('title') for elem in btns] for i in range(0, len(btns)-1): if btn[i].find("accept") != -1: btns[i].click() except NoSuchElementException: pass
Я также пытался принять все файлы cookie, но это не помогает мне закрыть всплывающее окно :
cookies_list = driver.get_cookies() for cookie in cookies_list: cookies_dict = {} cookies_dict['name'] = cookie['name'] cookies_dict['value'] = cookie['value'] driver.add_cookie(cookies_dict)
У кого-нибудь есть еще идея принять файлы cookie и закрыть эти всплывающие окна ? Или другое решение, чтобы полностью игнорировать всплывающее окно ? Заранее спасибо, надеюсь, я выразился достаточно ясно !