Блог

Я пытаюсь получить информацию о продукте из Etsy и следую относительно простому руководству для этого.

Это мой текущий код:

 headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/601.3.9 (KHTML, like Gecko) Version/9.0.2 Safari/601.3.9'}

#opening up connection, grabbing url 
url = "https://www.etsy.com/sg-en/search/bath-and-beauty/soaps?q=green beautyamp;explicit=1amp;ref=paginationamp;page=1"
uclient = ureq(url)
page_html = uclient.read()

#html parsing
page_soup = soup(page_html, 'lxml')
print(page_soup.p)

#grabs each product 
listings = page_soup.findAll("li", {"class":"wt-list-unstyled wt-grid__item-xs-6 wt-grid__item-md-4 wt-grid__item-lg-3 wt-order-xs-0 wt-order-sm-0 wt-order-md-0 wt-order-lg-0 wt-order-xl-0 wt-order-tv-0 grid__item-xl-fifth tab-reorder"})
len(listings)
 

Последний шаг повторно выводит 0, специально для этого класса, поэтому я не уверен, что я делаю неправильно. Основываясь на коде проверки, это подходящее имя класса и тип класса css для использования.
Etsy проверяет код здесь

Был бы очень признателен за любую помощь! Спасибо (-:

Я могу получить 65 элементов, как на странице, используя более простые

 soup.find("div", {"class": "tab-reorder-container"}).find_all("li", {"class":"tab-reorder"})
 

Сначала я использую find() для получения региона со всеми элементами, а позже я использую find_all() для поиска только li в этом регионе.

 import requests
from bs4 import BeautifulSoup as BS

headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/601.3.9 (KHTML, like Gecko) Version/9.0.2 Safari/601.3.9'}

#opening up connection, grabbing url 
url = "https://www.etsy.com/sg-en/search/bath-and-beauty/soaps?q=green beautyamp;explicit=1amp;ref=paginationamp;page=1"

r = requests.get(url, headers=headers)
soup = BS(r.text, 'lxml')
print(soup.p)

#grabs each product 
listings = soup.find('div', {'class': 'tab-reorder-container'}).find_all("li", {"class":"tab-reorder"})
print(len(listings))

for item in listings:
    item = item.find('h3')
    if item:
        print(item.get_text(strip=True))
 

Но проблема в том, что эта страница используется JavaScript для добавления элементов на страницу, и она находит 65 элементов, но большинство из них пустые, потому BS что не удается запустить JavaScript , чтобы добавить все значения в HTML.

Возможно, потребуется использовать Selenium для управления реальным веб-браузером, который может работать JavaScript . Или может потребоваться проверить, есть ли другие данные где-то JavaScript на странице, или если JavaScript не считывает данные с другого URL-адреса — и тогда вы можете использовать этот URL с requests

Редактировать:

Версия, которая использует Selenium для загрузки страницы в Chrome / Firefox, закрывает всплывающее окно, прокручивает его до конца страницы и получает элементы с BeautifulSoup и без BeautifulSoup

 from bs4 import BeautifulSoup as BS
import selenium.webdriver
import time

#opening up connection, grabbing url 
url = "https://www.etsy.com/sg-en/search/bath-and-beauty/soaps?q=green beautyamp;explicit=1amp;ref=paginationamp;page=1"

driver = selenium.webdriver.Chrome()
#driver = selenium.webdriver.Firefox()
driver.get(url)

time.sleep(3)
driver.find_element_by_xpath('//button[@data-gdpr-single-choice-accept]').click()

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(1.5)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

print('--- version 1 - BeautifulSoup ---')

html = driver.page_source

soup = BS(html, 'lxml')
print(soup.p)

#grabs each product 
listings = soup.find('div', {'class': 'tab-reorder-container'}).find_all("li", {"class":"tab-reorder"})
print(len(listings))

for item in listings:
    item = item.find('h3')
    if item:
        print(item.get_text(strip=True))

print('--- version 2 - Selenium ---')

#grabs each product 
listings = driver.find_elements_by_css_selector('div.tab-reorder-container li.tab-reorder')
print(len(listings))

for item in listings:
    item = item.find_element_by_css_selector('h3')
    if item:
        print(item.text.strip())
 

Особенность bs4 (или, может быть, я не до конца понимаю это …), Попробуйте это вместо:

 listings = page_soup.find_all("li", class_="wt-list-unstyled wt-grid__item-xs-6 wt-grid__item-md-4 wt-grid__item-lg-3 wt-order-xs-0 wt-order-sm-0 wt-order-md-0 wt-order-lg-0 wt-order-xl-0 wt-order-tv-0 grid__item-xl-fifth tab-reorder")