Request标签存档

Scrapy广泛使用信号来通知特定事件发生的时间。您可以在Scrapy项目中捕获一些这些信号… 继续阅读 爬虫蜘蛛Scrapy如何使用信号Signals API延迟信号处理程序？(69)python Scrapy教程1.51以上版本

class scrapy.loader.SpiderLoader 该类负责检索和处理项目中定… 继续阅读 爬虫蜘蛛Scrapy如何检索和处理项目中SpiderLoader API？(65)python Scrapy教程1.51以上版本

每个中间件组件都是一个Python类，它定义了以下一个或多个方法： class scrapy… 继续阅读 爬虫蜘蛛Scrapy编写自己的蜘蛛中间件SPIDER_MIDDLEWARES(60)python Scrapy教程1.51以上版本

每个中间件组件都是一个Python类，它定义了以下一个或多个方法： class scrapy… 继续阅读 爬虫蜘蛛Scrapy编写自己的下载中间件DOWNLOADER_MIDDLEWARES(57)python Scrapy教程1.51以上版本

响应对象 classscrapy.http.Response（url [，status = … 继续阅读 爬虫蜘蛛采集请求和回应Request和Response之响应对象scrapy.Response(34)python SCRAPY最新教程1.51以上版本

Scrapy使用Request和Response对象来抓取网站。 通常，Request对象在… 继续阅读 爬虫蜘蛛采集请求和回应Request和Response之请求对象scrapy.Request(33)python SCRAPY最新教程1.51以上版本

Scrapy shell只是一个常规的Python控制台（如果有的话，它可以是IPython… 继续阅读 爬虫蜘蛛Scrapy shell之运行使用shell详解 (26)python SCRAPY最新教程1.51以上版本

蜘蛛是定义如何抓取某个站点（或一组站点）的类，包括如何执行爬行（即跟随链接）以及如何从其页面… 继续阅读 通用蜘蛛爬虫抓取采集数据scrapy.Spider(14)python SCRAPY最新教程1.51以上版本

提取数据 学习如何使用Scrapy提取数据的最佳方法是使用shell Scrapy shel… 继续阅读 抓取采集网页并提取数据(5)python SCRAPY最新教程1.51以上版本

引擎盖下发生了什么？ Scrapy会调度Spider方法scrapy.Request返回的对… 继续阅读 start_requests方法的快捷方式(4)python SCRAPY教程1.51以上版本