url标签存档

响应对象 classscrapy.http.Response（url [，status = … 继续阅读 爬虫蜘蛛采集请求和回应Request和Response之响应对象scrapy.Response(34)python SCRAPY最新教程1.51以上版本

Scrapy使用Request和Response对象来抓取网站。 通常，Request对象在… 继续阅读 爬虫蜘蛛采集请求和回应Request和Response之请求对象scrapy.Request(33)python SCRAPY最新教程1.51以上版本

在一个项目被蜘蛛抓取之后，它被发送到项目管道，该项目管道通过顺序执行的几个组件处理它。 每个… 继续阅读 爬虫蜘蛛项目管道Item Pipeline之编写自己的项目管道(28)python SCRAPY最新教程1.51以上版本

Scrapy shell只是一个常规的Python控制台（如果有的话，它可以是IPython… 继续阅读 爬虫蜘蛛Scrapy shell之运行使用shell详解 (26)python SCRAPY最新教程1.51以上版本

Scrapy shell是一个交互式shell，您可以非常快速地尝试调试您的抓取代码，而无需… 继续阅读 爬虫蜘蛛Scrapy shell之配置及启动shell详解 (25)python SCRAPY最新教程1.51以上版本

蜘蛛是定义如何抓取某个站点（或一组站点）的类，包括如何执行爬行（即跟随链接）以及如何从其页面… 继续阅读 通用蜘蛛爬虫抓取采集数据scrapy.Spider(14)python SCRAPY最新教程1.51以上版本

本节包含可用内置命令的列表，其中包含说明和一些用法示例。请记住，您始终可以通过运行以获取有关… 继续阅读 (命令行工具)可用的工具命令(13)python SCRAPY最新教程1.51以上版本

您可以使用scrapy项目内部的工具来控制和管理它们。 例如，要创建一个新蜘蛛： scrap… 继续阅读 (命令行工具)控制项目(12)python SCRAPY最新教程1.51以上版本

您可以从没有参数的Scrapy工具开始，它将打印一些使用帮助和可用命令： Scrapy X.… 继续阅读 (命令行工具)使用scrapy工具(10)python SCRAPY最新教程1.51以上版本

您可以-a 在运行蜘蛛时使用该选项为您的蜘蛛提供命令行参数： scrapy crawl qu… 继续阅读 运行爬虫蜘蛛crawl参数(6)python SCRAPY最新教程1.51以上版本