#python #python-requests
#python #python-запросы
Вопрос:
Я уже некоторое время пытаюсь решить проблему, надеялся, что кто-нибудь из вас, ребята, сможет помочь.
Я делаю запрос на веб-сайт без прокси, используя python-запросы. Используя правильные заголовки, все идентично браузеру. Я получаю успешный ответ, такой же, как и ответ браузера.
Однако, когда я обновляю сеансы, использующие прокси session.proxies.update(proxies) , я получаю совершенно другой ответ. При использовании этого прокси в браузере он работает как обычно. Я настроил сеанс Wireshark как на своем локальном компьютере, так и на прокси-сервере. Запросы точно такие же как для локального запроса, так и для прокси-запроса. С прокси-сервера не добавляются заголовки.
Есть ли что-то, что я упускаю из виду, что могло бы объяснить другой ответ. Как уже говорилось ранее, я могу получить доступ к веб-сайту с помощью прокси-сервера в браузере, даже если javascript отключен, так что это не проблема. Заранее спасибо за любую помощь, я действительно ценю это
Комментарии:
1. Вы используете частные или общедоступные / бесплатные прокси?
2. Я пробовал с обоими
3. Когда я работал с общедоступными прокси, иногда я получаю html-код с китайских сайтов. Мое решение заключается в том, что когда вы выполняете запрос, выполняете функцию для управления появлением «некоторого» элемента на веб-сайте, чтобы узнать его правильную загрузку. Я использовал xpath для поиска элементов