scrapy:Ignoring response 400 HTTP status code is not handled or not allowed解决方案
在使用scrapy以下这句话调用抓取过程时,遇到以下错误
return [scrapy.Request(url=self.s_urls, headers=self.headers, callback=self.parse)]
Ignoring response <400 https://aa.com/library/index.html>: HTTP status code is not handled or not allowed
试了很多方法,都没有解决,最后换个函数调用方法,问题解决了。
return [scrapy.http.Request(url=self.s_urls, headers=self.headers, callback=self.parse)]
经过几十scrapy的编写经验,以上两个scrapy的方法
都能用,没有时间详细查他们两个有什么具体的区别,有特殊的情况,一个不能用的时候,就用另一个。
scrapy/__init__.py里面有定义
from scrapy.http import Request, FormRequest
其实scrapy.Request和scrapy.http.Request是同一个