Как получить статистику (item_scraped_count) с помощью Scrapy?

#python #web-scraping #scrapy

#python #веб-очистка #scrapy

Вопрос:

Я хочу получить общее количество очищенных элементов, но я всегда получаю ошибку

 from scrapy.stats import stats

class MySpider(Spider):
  name = "myspider"
  start_urls = ["http://example.com"]
  #Other Code


def close_spider(self, spider):
   stats.set_value('item_scraped_count')
  

Я всегда получал эту ошибку
«Scrapy.stats уже устарел, вместо этого используйте crawler.stats»

Я пробовал другой код и искал по всему Интернету, но не могу получить правильный ответ, пожалуйста, помогите мне

Ответ №1:

Все хорошо, теперь я просто использую это из https://doc.scrapy.org/en/latest/topics/stats.html

 def __init__(self, stats):
    self.stats = stats

@classmethod
def from_crawler(cls, crawler):
    return cls(crawler.stats)