爬虫蜘蛛Scrapy如何使用统计信息收集器 API?(68)python Scrapy教程1.51以上版本
scrapy.statscollectors
模块下有几个Stats收集器 ,它们都实现了StatsCollector
类定义的Stats Collector API (它们都是从它们继承的)。
- class
scrapy.statscollectors.
StatsCollector
-
get_value
(key, default=None)- 返回给定统计信息键的值,如果不存在则返回默认值。
get_stats()
- 从当前运行的蜘蛛获取所有统计数据作为词典。
statsset_stats(
)
- 使用
stats
参数中传递的dict覆盖当前统计信息。
keyinc_value(
count=1,
start=0,
)
- 假定给定的起始值(当它未设置时),按给定的计数递增给定统计量键的值。
clear_stats()
- 清除所有统计数据。
以下方法不是stats集合api的一部分,而是在实现自定义统计信息收集器时使用:
spideropen_spider(
)
- 打开给定的蜘蛛进行统计数据收集。
spiderclose_spider(
)
- 关闭给定的蜘蛛。调用此方法后,无法访问或收集更多特定统计信息。
评论被关闭。