#python #web-scraping #scrapy
#python #веб-очистка #scrapy
Вопрос:
Я хочу получить общее количество очищенных элементов, но я всегда получаю ошибку
from scrapy.stats import stats
class MySpider(Spider):
name = "myspider"
start_urls = ["http://example.com"]
#Other Code
def close_spider(self, spider):
stats.set_value('item_scraped_count')
Я всегда получал эту ошибку
«Scrapy.stats уже устарел, вместо этого используйте crawler.stats»
Я пробовал другой код и искал по всему Интернету, но не могу получить правильный ответ, пожалуйста, помогите мне
Ответ №1:
Все хорошо, теперь я просто использую это из https://doc.scrapy.org/en/latest/topics/stats.html
def __init__(self, stats):
self.stats = stats
@classmethod
def from_crawler(cls, crawler):
return cls(crawler.stats)