Доступ к содержимому страницы вместо всплывающего окна cookie (SELENIUM PYTHON)

#python #selenium #web-scraping #cookies #popup

Вопрос:

В течение нескольких дней я ищу способ решить свою проблему, но я не нашел ничего, что сработало бы. Я создаю программу, которая очищает веб-сайт, и я хочу собрать все содержимое тегов » p » и «hn». Моя единственная проблема заключается в том, что на каком-то веб-сайте появляется всплывающее окно cookie, которое не позволяет мне правильно очищать.

И дело в том, что я очищаю все типы веб-сайтов, поэтому это означает, что это не всегда один и тот же шаблон, и принятие xpath / cssSelector практически невозможно.

Я перепробовал много вещей, например, поиск кнопок, а затем поиск, есть ли внутри них «принять» :

 try: btns = driver.find_elements_by_tag_name('button') btntxt = [elem.text for elem in btns] print(btntxt) btntitle = [elem.get_attribute('title') for elem in btns] for i in range(0, len(btns)-1):  if btn[i].find("accept") != -1:  btns[i].click() except NoSuchElementException: pass  

Я также пытался принять все файлы cookie, но это не помогает мне закрыть всплывающее окно :

 cookies_list = driver.get_cookies() for cookie in cookies_list:  cookies_dict = {}  cookies_dict['name'] = cookie['name']  cookies_dict['value'] = cookie['value']  driver.add_cookie(cookies_dict)  

У кого-нибудь есть еще идея принять файлы cookie и закрыть эти всплывающие окна ? Или другое решение, чтобы полностью игнорировать всплывающее окно ? Заранее спасибо, надеюсь, я выразился достаточно ясно !