Блог

Я использую Python и Selenium для очистки веб-сайта. Что я делаю, так это перехожу на домашнюю страницу, вводю ключевое слово, например 1300746-79-5. На результирующей странице я пытаюсь очистить данные в разделе «цены». В частности, мне нужно получить информацию о «размере SKU-Pack» и «Цене (USD)». Но эта информация зашифрована в Javascript, поэтому я не вижу их в исходном коде. Мне интересно, как я могу этого добиться.

Я написал некоторый код, который приводит меня на интересующую страницу, но я все еще не вижу информацию javascript. Вот что у меня есть до сих пор.

 from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pprint

# Create a new instance of the Firefox driver
driver = webdriver.Chrome('C:UsersReiDesktopchromedriver.exe')
driver.get("http://www.sigmaaldrich.com/united-states.html")

print driver.title
inputElement = driver.find_element_by_name("Query")

# type in the search
inputElement.send_keys("1300746-79-5")
inputElement.submit()
  

Все, что вы сделали, выглядит правильным для меня.

Информация о «размере SKU-Pack» и «Цене (USD)» не «зашифровывается», а извлекается после нажатия JavaScript. действие. Все, что вам нужно сделать, это нажать на название продукта или ссылку с ценами.

 from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pprint

driver = webdriver.Chrome()
driver.get("http://www.sigmaaldrich.com/united-states.html")

print driver.title
inputElement = driver.find_element_by_name("Query")

# type in the search
inputElement.send_keys("1300746-79-5")
inputElement.submit()

pricing_link = driver.find_element_by_css_selector("li.priceValue a")
print pricing_link.text
pricing_link.click()

# then deal with the data you want
price_table = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, ".priceAvailContainer tbody"))
)
print 'price_table.text: '   price_table.text

driver.quit()