Блог

Я пытался получить данные по следующей ссылке:

Я могу идентифицировать несколько кадров:

 SCROLL_PAUSE_TIME = 2
CYCLES=2
browser = webdriver.Firefox(firefox_options=opt)
browser.get(pge)
sleep(1)
comment_button = browser.find_elements_by_class_name('Ob2kfd') 
sleep(1)
comment_button[0].click() 
sleep(1)
html = browser.find_element_by_tag_name('html')
frames = browser.find_elements_by_tag_name('iframe')
 

это находит фреймы:

 [<selenium.webdriver.remote.webelement.WebElement 
(session="bbe62090fb83ba8774d855278b17b007", element="0.46172414237768167- 
3")>,
 <selenium.webdriver.remote.webelement.WebElement 
(session="bbe62090fb83ba8774d855278b17b007", element="0.46172414237768167- 
4")>,
 <selenium.webdriver.remote.webelement.WebElement 
 (session="bbe62090fb83ba8774d855278b17b007", 
 element="0.46172414237768167-5")>,
 <selenium.webdriver.remote.webelement.WebElement 
 (session="bbe62090fb83ba8774d855278b17b007", 
 element="0.46172414237768167-6")>,
  <selenium.webdriver.remote.webelement.WebElement 
 (session="bbe62090fb83ba8774d855278b17b007", 
 element="0.46172414237768167-7")>,
 <selenium.webdriver.remote.webelement.WebElement 
 (session="bbe62090fb83ba8774d855278b17b007", 
 element="0.46172414237768167-8")>]
 

Теперь та часть, которая не работает… Я не могу переключиться на фрейм с обзорами, я перепробовал много подходов:

 browser.switch_to.frame(browser.find_element_by_tag_name("iframe"))

WebDriverWait(browser,10).until(EC.frame_to_be_available_and_switch_to_it((browser.find_element_by_tag_name("iframe"))))

WebDriverWait(browser, 20).until(EC.element_to_be_clickable((browser.find_element_by_tag_name("iframe"))))

browser.switch_to.default_content()

browser.switch_to.parent_frame()

browser.switch_to.frame(frames[0])

browser.switch_to.frame(frames[1])

#etc
 

Я также пытался найти идентификаторы фреймов с помощью браузера, но я новичок в этом:

 browser.switch_to.frame("gci_91f30755d6a6b787dcc2a4062e6e9824.js")
 

Я хочу в основном прокрутить обзоры вниз, но, похоже, я застрял не в том кадре:

 sleep(2)
for i in range(CYCLES):
    html.send_keys(Keys.DOWN)
    time.sleep(SCROLL_PAUSE_TIME)
 

но ничего не работает?

Пожалуйста, обратите внимание, что это не дубликат, я ценю, что есть несколько других сообщений с похожими проблемами, но я действительно перепробовал все упомянутые подходы, и, похоже, ничего не работает! Если кто-то может помочь, это было бы очень ценно. Если вы можете попробовать перейти по ссылке на страницу, похоже, это не работает.

элемент не находится внутри любого iframe .Попробуйте использовать webdriverwait и селектор css.Здесь я попробовал с chrome и работает нормально.Печать текста 127 Google reviews — это то, о чем вы заботитесь.

 from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions
from selenium import webdriver

driver=webdriver.Chrome()
driver.get("https://www.google.com/search?rlz=1C1GCEU_en__835__835amp;ei=gfW0XKjNFeXjkgW8g6PYDAamp;q=huawei stores italyamp;oq=huawei stores italyamp;gs_l=psy-ab.3..0i22i30l3.4596.6067..6522...1.0..0.99.530.7......0....1..gws-wiz.......0i71j0i20i263j0i67j0j33i160.QYVpoia0BL4amp;npsic=0amp;rflfq=1amp;rlha=0amp;rllag=45499827,9211657,4837amp;tbm=lclamp;rldimm=17275164572016510107amp;lqi=ChNodWF3ZWkgc3RvcmVzIGl0YWx5IgOIAQFaDwoNaHVhd2VpIHN0b3Jlcwamp;ved=2ahUKEwiKrMm8g9PhAhXQ4KQKHY9KDc8QvS4wAXoECAoQHQamp;rldoc=1amp;tbs=lrf:!2m1!1e3!2m1!1e16!3sIAE,lf:1,lf_ui:4#rlfi=hd:;si:17275164572016510107,l,ChNodWF3ZWkgc3RvcmVzIGl0YWx5IgOIAQFaDwoNaHVhd2VpIHN0b3Jlcw;mv:!1m2!1d45.5258666!2d9.274078399999999!2m2!1d45.443338999999995!2d9.1152195;tbs:lrf:!2m1!1e3!2m1!1e16!3sIAE,lf:1,lf_ui:4")
element=WebDriverWait(driver,20).until(expected_conditions.element_to_be_clickable((By.CSS_SELECTOR,'span.fl span a span')))
print(element.text)

elements=WebDriverWait(driver,20).until(expected_conditions.presence_of_all_elements_located((By.CSS_SELECTOR,'div.Jtu6Td span')))

for ele in elements:
    print(ele.text)
 

Первая печать будет печатать

 127 Google reviews
 

Во втором цикле будут напечатаны 3 комментария к обзору, чтобы увидеть больше комментариев, на которые вы должны нажать More Google review .Я думаю, что в этой части вы это сделаете.

 Very good experience, personal are super professional and kind. I became now huawei client :)
The team is  really kind and extremely prepared
Good store everything you want from Huawei.
 

ОТРЕДАКТИРОВАНО:

 from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException


driver=webdriver.Chrome()
driver.get("https://www.google.com/search?rlz=1C1GCEU_en__835__835amp;ei=gfW0XKjNFeXjkgW8g6PYDAamp;q=huawei stores italyamp;oq=huawei stores italyamp;gs_l=psy-ab.3..0i22i30l3.4596.6067..6522...1.0..0.99.530.7......0....1..gws-wiz.......0i71j0i20i263j0i67j0j33i160.QYVpoia0BL4amp;npsic=0amp;rflfq=1amp;rlha=0amp;rllag=45499827,9211657,4837amp;tbm=lclamp;rldimm=17275164572016510107amp;lqi=ChNodWF3ZWkgc3RvcmVzIGl0YWx5IgOIAQFaDwoNaHVhd2VpIHN0b3Jlcwamp;ved=2ahUKEwiKrMm8g9PhAhXQ4KQKHY9KDc8QvS4wAXoECAoQHQamp;rldoc=1amp;tbs=lrf:!2m1!1e3!2m1!1e16!3sIAE,lf:1,lf_ui:4#rlfi=hd:;si:17275164572016510107,l,ChNodWF3ZWkgc3RvcmVzIGl0YWx5IgOIAQFaDwoNaHVhd2VpIHN0b3Jlcw;mv:!1m2!1d45.5258666!2d9.274078399999999!2m2!1d45.443338999999995!2d9.1152195;tbs:lrf:!2m1!1e3!2m1!1e16!3sIAE,lf:1,lf_ui:4")
element=WebDriverWait(driver,20).until(expected_conditions.element_to_be_clickable((By.CSS_SELECTOR,'span.fl span a span')))
print(element.text)
no_of_review=int(element.text.split()[0])
print(no_of_review)

elemore=WebDriverWait(driver,20).until(expected_conditions.element_to_be_clickable((By.XPATH,'//span[text()="More Google reviews"]')))
driver.execute_script("arguments[0].click();",elemore)

all_reviews = WebDriverWait(driver, 3).until(expected_conditions.presence_of_all_elements_located((By.CSS_SELECTOR, 'div.gws-localreviews__google-review')))

while len(all_reviews) < no_of_review:
    driver.execute_script('arguments[0].scrollIntoView(true);', all_reviews[-1])
    WebDriverWait(driver, 1).until_not(expected_conditions.presence_of_element_located((By.CSS_SELECTOR, 'div[class$="activityIndicator"]')))
    all_reviews = driver.find_elements_by_css_selector('div.gws-localreviews__google-review')

reviews = []
for review in all_reviews:
    try:
         full_text_element = review.find_element_by_css_selector('span.review-full-text')
         reviews.append(full_text_element)
    except NoSuchElementException:
        full_text_element = review.find_element_by_css_selector('span[class^="r-"]')
        reviews.append(full_text_element.get_attribute('textContent'))

print(reviews)