#scrapy #twisted
Вопрос:
Я хотел бы отправить отчет о состоянии в базу данных после тщательного обхода. У меня уже есть система, которая прослушивает событие spider closed и отправляет причину закрытия spider в базу данных.
Моя проблема в том, что я получаю twisted.web._newclient.ResponseNeverReceived сообщение, которое завершает паука с помощью CloseSpider («готово»). Этой причины недостаточно для меня, чтобы вычесть фактическую причину неудачи.
Как бы вы закрыли паука по другой причине, когда происходит получение ответа? Похоже, для этого нет никаких сигналов.