Блог

Главная - Вопросы по программированию - Как получить информацию о веб-сайте, используя requests_html?

Как получить информацию о веб-сайте, используя requests_html?

#python #python-requests

#python #python-запросы

Вопрос:

URL, который я хочу посетить, это https://dealer.autohome.com.cn/2065423/

Код, который я написал, является:

 from requests_html import HTMLSession
url = r'https://dealer.autohome.com.cn/2065423/'
session = HTMLSession()
r = session.get(url)
r.html.render()
soup = BeautifulSoup(r.text, 'lxml')
data = soup.findAll('div', {'class':'allagency-cont'})

В allagency-cont теге информация, которую я хочу, но пропустил, это:

 <div class="telphone">
<div title="当前商家咨询电话数量接通服务比例">
    电话接听率：100%
</div>
<div class="fn-clear">
    <div class="phone-name">
        15天订单量：
    </div>
    <div title="当前商家15天内订单量数量" class="progress">
        <span style="width:20%;" class="progress-value"></span>
    </div>
</div>

Javascript не был выполнен. Что мне делать?

Спасибо

Комментарии:

1. Если элемент, который вы хотите захватить, визуализируется с помощью JavaScript, тогда вам следует использовать selenium вместо BeautifulSoup

2. Можем ли мы использовать пакет requests_html ?