Блог

 import requests
from bs4 import BeautifulSoup
My_Url = "http://questions.consumercomplaints.in/page/2"
Data = requests.get(My_Url)
Soup = BeautifulSoup(Data.content)
head_id = Soup.find_all({"div":"href"})
len(head_id)
for i in head_id:
    print i.text 
 

Из приведенного выше кода я удалил (отзывы / жалобы) с веб-страницы 2.
Как мне автоматически сканировать данные со всех страниц (http://questions.consumercomplaints.in/page/3 )

Почему бы не окружить вашу функцию циклом с диапазоном for?

 import requests
from bs4 import BeautifulSoup
for i in range(3,11):
    My_Url = "http://questions.consumercomplaints.in/page/"   str(i)
    Data = requests.get(My_Url)
    Soup = BeautifulSoup(Data.content)
    head_id = Soup.find_all({"div":"href"})
    len(head_id)
    for i in head_id:
        print i.text 
 

Посмотрите, как здесь работает функция диапазона.