#python #web-scraping #amazon
#питон #соскабливание паутины #амазонка
Вопрос:
Я новичок в веб-скребке. Я пытался очистить разные страницы результатов Amazon soup.find('ul', {'class': 'a-pagination'}) и выбрать следующую страницу ('li', {'class': 'a-last'}) , но каждый раз я получаю максимум 2-3 страницы, даже если страниц 100, если мы проверяем вручную.
fileURLs = open("out.txt","w") s = HTMLSession() url = 'https://www.amazon.co.uk/product-reviews/B07H11WXL4/ref=acr_dp_hist_5?ie=UTF8amp;filterByStar=five_staramp;reviewerType=all_reviews#reviews-filter-bar' def getdata(url): r = s.get(url) soup = BeautifulSoup(r.text, 'html.parser') #sleep(10) return soup def getURLs(soup): page = soup.find('ul', {'class': 'a-pagination'}) if page: if page.find('li', {'class': 'a-last'}): url = 'http://www.amazon.co.uk' str(page.find('li', {'class': 'a-last'}).find('a')['href']) return url else: return while True: fileURLs.write(url 'n') soup = getdata(url) url = getURLs(soup) if not url: break Пожалуйста, дайте мне знать, что я делаю не так. ТИА