爬虫蜘蛛Scrapy如何检索和处理项目中SpiderLoader API?(65)python Scrapy教程1.51以上版本
class scrapy.loader.
SpiderLoader
该类负责检索和处理项目中定义的spider类。
可以通过在SPIDER_LOADER_CLASS
项目设置中指定其路径来使用自定义蜘蛛装载程序 。它们必须完全实现scrapy.interfaces.ISpiderLoader
接口以保证无错执行。
settingsfrom_settings(
)
- Scrapy使用此类方法来创建类的实例。它是使用当前项目设置调用的,它会加载在
SPIDER_MODULES
设置模块中递归发现的蜘蛛。参数: settings ( Settings
instance) – 项目设置
spider_nameload(
)
- 获取具有给定名称的Spider类。它将查看以前加载的名为spider_name的蜘蛛类的蜘蛛,如果找不到则会引发KeyError。
参数: spider_name (str) – 蜘蛛类名
list()
- 获取项目中可用蜘蛛的名称。
requestfind_by_request(
)
- 列出可以处理给定请求的蜘蛛名称。将尝试将请求的URL与蜘蛛的域匹配。
参数: request( Request
instance) – 查询请求