#python #web-scraping #scrapy #session-cookies
#python #очистка веб-страниц #scrapy #сеансовые файлы cookie
Вопрос:
Я знаю, что мы можем включить файлы cookie в настройках scrapy для перехода на разные страницы веб-сайта без повторного входа в систему каждый раз, когда мы успешно входим на этот веб-сайт. Но это ограничено одним выполнением или запуском spider. Итак, меня беспокоит, можем ли мы сохранить эти файлы cookie в файле или в базе данных и использовать их позже, когда захотим получить доступ к веб-сайту, если сеанс не истечет? Спасибо.
Комментарии:
1. В Scrapy нет встроенной функции для этого, но вам должно быть довольно легко реализовать такое поведение в вашем spider.
2. Привет @Gallaecio, я пробовал анализировать заголовки ответов, сохранять заголовки и файлы cookie в файле json и повторно использовать заголовки в
scrapy.Request()методе в качестве аргумента headers. Но это не сработало. Каким будет ваш подход? Не могли бы вы, пожалуйста, рассказать мне об этом?3. Вам нужно будет сохранить только файлы cookie, а не заголовки ответов. В остальном это похоже на то, что я бы сделал. Работают ли файлы cookie, если они используются сразу в новом запросе (без сохранения и загрузки файла)? Вы проверили, указывает ли ответ на тип проблемы? (например, истекший сеанс)