Блог

Главная - Вопросы по программированию - очистка веб-страниц / обход веб-страниц показывает ошибку 403 на сайте, который я хочу просмотреть

очистка веб-страниц / обход веб-страниц показывает ошибку 403 на сайте, который я хочу просмотреть

#web-scraping #web-crawler #python-3.7 #http-status-code-403

Вопрос:

 import requests
from bs4 import BeautifulSoup
url ='https://www.vesselfinder.com/vessels'
headers= {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)'}
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
response.status_code

я пробовал другой пользовательский агент, но все еще не работает, я пробовал другие сайты, он работает, но этот сайт не работает, помогите мне просмотреть все данные с этого сайта. заранее спасибо!!!

Ответ №1:

Серверу нужен дополнительный заголовок для языка

 import requests

headers = {
    'user-agent': 'Mozilla/5.0',
    'accept-language': 'en-GB,en-US;q=0.9,en;q=0.8',
}

response = requests.get('https://www.vesselfinder.com/vessels', headers=headers)
response.status_code
Метки: ,