#python #xmlhttprequest #web-scraping
#python #xmlhttprequest #очистка веб-страниц
Вопрос:
Я просматриваю веб-сайт Angie’s List с моим расширением Fiddler, открытым в Chrome, и после каждой загрузки страницы Fiddler фиксирует ответ XHR для этой страницы (я считаю, что это просто пиксельный трекер, указывающий на событие, когда я посетил новую страницу). Я хотел бы иметь возможность автоматически записывать содержимое этих ответов в файл CSV. Так, например, если я запускаю «python getXHR.py http://www.angieslist.com» Я бы хотел, чтобы мой выходной файл csv добавлял:
angieslist.comhttp://536371345.log.optimizely.com/event?a=536371345amp;d=536371345amp;y=fal…
Как я могу это сделать? Я знаю Python лучше, чем другие языки, но другие языки в порядке. Если есть способ сделать это напрямую через Fiddler / Firebug, это тоже хорошо.
Комментарии:
1.
XHRотправляетсяJavaScriptи Python не будет запускать код JavaScript, когда получит страницу с сервера. Такие инструменты, какSeleniumзагружает страницу и запускает JavaScript, но я не знаю, может ли он сохранять вызовы XHR.
Ответ №1:
С помощью NetExport (расширение для firebug) вы можете сохранять все запросы в формате JSON, а затем использовать Python (и модуль json ) для поиска запросов с X-Requested-With: XMLHttpRequest
КСТАТИ: NetExport имеет Auto Export