爬虫蜘蛛内置异常详解(37)python Scrapy教程1.51以上版本

CloseSpider

exception  scrapy.exceptions.CloseSpider(reason=‘cancelled’)

可以从蜘蛛回调中引发此异常，以请求关闭/停止蜘蛛。支持的参数：

参数：	reason（str） – 关闭的原因

例如：

def parse_page(self, response):
    if 'Bandwidth exceeded' in response.body:
        raise CloseSpider('bandwidth_exceeded')

DontCloseSpider

exception  scrapy.exceptions.DontCloseSpider

可以在spider_idle信号处理程序中引发此异常，以防止蜘蛛被关闭。

IgnoreRequest

exception scrapy.exceptions.IgnoreRequest

调度程序或任何下载程序中间件可以引发此异常，以指示应忽略该请求。

NotConfigured

exception scrapy.exceptions.NotConfigured

某些组件可能会引发此异常，以指示它们将保持禁用状态。这些组件包括：

• 扩展
• 物品管道
• 下载中间件
• 蜘蛛中间件

必须在组件的__init__方法中引发异常。

不支持

exception scrapy.exceptions.NotSupported

引发此异常表示不支持的功能。