在使用scrapy以下这句话调用抓取过程时,遇到以下错误

return [scrapy.Request(url=self.s_urls, headers=self.headers, callback=self.parse)]

Ignoring response <400 https://aa.com/library/index.html>: HTTP status code is not handled or not allowed

试了很多方法,都没有解决,最后换个函数调用方法,问题解决了。

return [scrapy.http.Request(url=self.s_urls, headers=self.headers, callback=self.parse)]

经过几十scrapy的编写经验,以上两个scrapy的方法

scrapy.http.Request

scrapy.Request

都能用,没有时间详细查他们两个有什么具体的区别,有特殊的情况,一个不能用的时候,就用另一个。

1 对 “scrapy:Ignoring response 400 HTTP status code is not handled or not allowed解决方案”的想法;

  1. scrapy/__init__.py里面有定义
    from scrapy.http import Request, FormRequest

    其实scrapy.Request和scrapy.http.Request是同一个

评论被关闭。