Статус HTTP-запроса 403, реплицированные заголовки chrome

#web-scraping #python-requests #http-headers

#очистка веб-страниц #python-запросы #http-заголовки

Вопрос:

Привет, я пытаюсь создать веб-страницу https://cncpts.com/collections /

Код возвращает статус запроса 403, но я могу получить доступ к сайту в своем браузере. Кто-нибудь знает, не пропустил ли я что-нибудь? или в библиотеке запросов что-то происходит, о чем я не знаю? Большое спасибо!

 
import requests

headers = { 'accept' : 'text/html,application/xhtml xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
            'accept-encoding' : 'gzip, deflate, br',
            'accept-language' : 'en-US,en;q=0.9',
            'sec-ch-ua' : '"Chromium";v="88", "Google Chrome";v="88", ";Not A Brand";v="99"',
            'sec-ch-ua-mobile' : '?0',
            'sec-fetch-dest' : 'document',
            'sec-fetch-mode' : 'navigate',
            'sec-fetch-site' : 'none',
            'sec-fetch-user' : '?1',
            'upgrade-insecure-requests' : '1',
            'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
}

r = requests.Session()
r.headers.update(headers)
print(r.get("https://cncpts.com/collections/"))
 

Комментарии:

1. Вероятно, для этого вам понадобится селен. Раньше все это было просто, но Cloudflare все испортил.

2. Спасибо! избавило меня от многих мучений в поисках источника проблемы. как вы узнали, что cloudfare блокирует мой запрос?

3. Вы можете увидеть это в заголовках и теле ответа.