Блог

Я пытаюсь извлечь комментарии читателя со следующей страницы с помощью кода, показанного ниже. Но выходной html test.html не содержит никаких комментариев со страницы. Как мне получить эту информацию с помощью Python?

http://www.theglobeandmail.com/opinion/it-doesnt-matter-who-won-the-debate-america-has-already-lost/article32314064/comments/

 from bs4 import BeautifulSoup
import urllib
import urllib.request
import urllib.parse

req =urllib.request.Request('http://www.theglobeandmail.com/opinion/it-doesnt-matter-who-won-the-debate-america-has-already-lost/article32314064/comments/')
response = urllib.request.urlopen(req)
the_page = response.read()

soup = BeautifulSoup(the_page, 'html.parser')
f = open('test.html', 'w')
f.write(soup.prettify())
f.close()
 

Спасибо!

Комментарии извлекаются с помощью запросов ajax, которые вы можете имитировать:

Вы можете видеть, что существует множество параметров, но того, что приведено ниже, достаточно для получения результата, я оставлю это вам, чтобы выяснить, как вы можете повлиять на результаты:

 from json import loads
from urllib.request import  urlopen
from urllib.parse import urlencode

data = {"categoryID":"Production",
    "streamID":"32314064",
    "APIKey":"2_oNjjtSC8Qc250slf83cZSd4sbCzOF4cCiqGIBF8__5dWzOJY_MLAoZvds76cHeQD",
    "callback" :"foo",}
r = urlopen("http://comments.us1.gigya.com/comments.getComments", data=urlencode(data).encode("utf-8"))
json_dcts = loads(r.read().decode("utf-8"))["comments"]

print(json_dcts)
 

Это дает вам список dicts, в котором содержатся все комментарии, положительные, отрицательные и т. Д.. Если вы хотите проанализировать ключ, который находится в URL-адресе внутри одного из скриптов src='https://cdns.gigya.com/js/socialize.js?apiKey=2_oNjjtSC8Qc250slf83cZSd4sbCzOF4cCiqGIBF8__5dWzOJY_MLAoZvds76cHeQD' , идентификатор потока находится в вашем исходном URL.