Блог

Главная - Вопросы по программированию - Отсутствуют результаты сканирования

Отсутствуют результаты сканирования

#python #html #web-crawler

#python #HTML #веб-поисковик

Вопрос:

Я новичок в crawler, и я начал с python и запросов beautifulsoup. Я следую инструкциям, которые я нашел в Интернете, и код выглядит следующим образом: конечный веб-сайт https://ac&n-stock.com /

 import requests
from bs4 import BeautifulSoup

r = requests.&et("https://ac&n-stock.com/", headers=headers)
print(r.text)

Это действительно базовый, и я все в нем понимаю.
когда я его выполняю, это сработало, но чего-то не хватает.
Веб-код выглядит следующим образом

но мой поисковый робот сканировал только выше этой строки

 <script&&t;window.prerenderReady = false</scrip&&t;

Я пытался изменить user-a&ent, но это все еще не сработало.
Спасибо за вашу помощь.

Комментарии:

1. Похоже, что эти элементы добавлены javascript. Не так ли?

2. если страница использует JavaScript для добавления элементов, то requests adn BS может быть бесполезен, поскольку они не могут запускать JavaScript. Вы можете использовать Selenium для управления веб-браузером, который может запускать JavaScript. В конечном итоге вы можете проверить DevTool в Firefox / Chrome , считывает ли JavaScript данные с сервера и использует ли этот URL с requests / BS (или часто с json ) для получения данных.