#web-scraping #python-requests
#веб-очистка #python-requests
Вопрос:
Привет!
Может кто-нибудь сказать мне, почему, используя requests.get(url) разные URL, я получаю одну и ту же страницу. История такова: я очищаю веб-страницу, чтобы увидеть товары по брендам. Таким образом, я генерирую URL-адреса на основе списка брендов на странице (я извлекаю их с помощью xpath ). Для других страниц это работает, однако для этой нет. Итак, я думаю, может быть, есть какая-то защита от очистки страницы? Как и при вставке этих сгенерированных URL-адресов в Chrome, он выдает мне страницу с продуктами определенного бренда, которые мне нужны.Однако с requests.get я оказываюсь на той же странице. Также, может быть, вы можете поделиться простой для понимания информацией о том, как работают запросы? Как он достигает источника страницы?
Огромное спасибо авторам!
Комментарии:
1. Помогите нам помочь вам — поделитесь своим кодом.
2. трудно сказать без кода для тестирования. Возможные решения: а) включить заголовки в свой
requests.get(); б) страница, вероятно, динамическая, поэтому можно посмотреть, есть ли api для доступа, чтобы получить данные или найти их в<script>тегах; в) использовать Selenium3. Да, я использую Selenium сейчас в качестве обходного пути, но хочу понять, почему это происходит :).