如何使用Scrapy获取stat(item_scraped_count)?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何使用Scrapy获取stat(item_scraped_count)?相关的知识,希望对你有一定的参考价值。

我想获得已删除项目的总计数,但我总是收到错误

from scrapy.stats import stats

class MySpider(Spider):
  name = "myspider"
  start_urls = ["http://example.com"]
  #Other Code


def close_spider(self, spider):
   stats.set_value('item_scraped_count')

我总是得到这个错误“Scrapy.stats已经过时使用crawler.stats”

我尝试了不同的代码,并在互联网上搜索,但我无法得到正确的答案,请帮助我

答案

All Good Now我只是使用https://doc.scrapy.org/en/latest/topics/stats.html中的这个

def __init__(self, stats):
    self.stats = stats

@classmethod
def from_crawler(cls, crawler):
    return cls(crawler.stats)

以上是关于如何使用Scrapy获取stat(item_scraped_count)?的主要内容,如果未能解决你的问题,请参考以下文章

scrapy 爬虫中间件 deepth深度

第三百五十四节,Python分布式爬虫打造搜索引擎Scrapy精讲—数据收集(Stats Collection)

如何使用 Scrapy 从网站获取所有纯文本?

如何使用python [duplicate]在scrapy中获取select选项值

如何从冷冻的辣味.stats 分布中获取参数参数?

如何获取使用 perf stat 运行的程序的退出代码?