Блог

Главная - Вопросы по программированию - Механизировать с помощью python отправить страницу с ошибкой

Механизировать с помощью python отправить страницу с ошибкой

#python #web-scraping #mechanize #mechanize-python

Вопрос:

Я хотел соскрести данные с этого сайта -> >https://inputsurvey.dacnet.nic.in/districtsummary_sizeclass.aspx Есть несколько выпадающих меню и кнопка «Отправить».

Я хочу сделать это итеративно, чтобы получить все данные. Но я застрял на самом первом уровне. Я написал код для указания значений для каждого из выпадающих меню и отправки. Но он переходит на страницу с ошибкой. Запишите код ниже.

 from bs4 import BeautifulSoup
import mechanize

br = mechanize.Browser()
inputsurvey = "https://inputsurvey.dacnet.nic.in/districtsummary_sizeclass.aspx"
br.open(inputsurvey)
br.select_form(nr=0)
br.form['_ctl0:ContentPlaceHolder2:ddlYear'] = ["2016"]
br.form['_ctl0:ContentPlaceHolder2:ddlState'] = ["1a"]
br.form['_ctl0:ContentPlaceHolder2:ddlSizeGroup'] = ["6"]
br.form['_ctl0:ContentPlaceHolder2:ddlTables'] = ["1"]
response = br.submit(nr=0)
print(response.read())

Я подтвердил, что значения указаны правильно. Тем не менее, функция отправки приводит к странице ошибки вместо страницы данных. Когда я повторяю те же действия в браузере, я могу получить данные.

Примечание: При отправке URL-адрес страницы меняется. Это как-то связано с моей проблемой?

Метки: