Блог

Я использую библиотеку Scrapy (Scrapy ==1.6.0) с Python3. Мне интересно, где в коде Scrapy на самом деле выполняет HTML-запрос? Я хочу установить там точку останова, чтобы я мог точно видеть, какие заголовки / файлы cookie / URL-адреса / и пользовательский агент фактически передаются.

Кроме того, где именно также получен ответ? Прямо сейчас моему spider не удается найти какие-либо страницы, поэтому я предполагаю, что получаю либо пустой HTML-документ, либо ошибку 403, однако я понятия не имею, где искать подтверждение этого.

Может ли кто-нибудь, знакомый с библиотекой scrapy, указать мне, где именно в коде я могу проверить эти параметры?

Я верю, что вы можете проверить scrapy/core/engine.py метод _download. Хотя я бы посоветовал вам использовать scrapy shell. Это позволит вам выполнить конкретный запрос, проверить ответ, открыть ответ в браузере, чтобы увидеть, что было получено Scrapy. Также с немного большей настройкой вы можете импортировать свой spider в свою оболочку и вызвать определенный метод вашего spider и поставить там точку останова.

Если вашему spider не удается найти ни одной страницы, то проблема, скорее всего, в вашем spider, а не в фреймворке.