#python-3.x #web-scraping #web-crawler #user-agent #http-status-code-403
#python-3.x #соскабливание паутины #веб-обходчик #агент пользователя #http-статус-код-403
Вопрос:
Я пытаюсь просканировать этот веб-сайт и получить сообщение:
«У вас нет разрешения на доступ»
есть ли способ обойти это ? уже используемые агенты пользователей и urlopen
Вот мой код:
import requests from bs4 import BeautifulSoup import json import pandas as pd from urllib.request import Request, urlopen url = 'https://www.oref.org.il/12481-he/Pakar.aspx' header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.76 Safari/537.36'} res = requests.get(url, headers=header) soup = BeautifulSoup(res.content, 'html.parser') print(res) выход:
lt;Response [403]gt; также пытался это сделать:
req = Request(url, headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'}) webpage = urlopen(req).read() выход:
HTTP Error 403: Forbidden все еще заблокирован и получил ответ 403, Кто-нибудь может помочь?