首页 Python scrapy Scrapy使用Firefox进行抓取(47)python Scrapy教程1.51以上版本
-
发表于:
-
分类:
Python, scrapy
-
标签:
cookie, DOM, Firebug, Firefox, html, Javascript, python, Scrapy, scrapy教程, tbody, XPath, XPather, 抓取, 教程, 浏览器, 爬虫, 组件, 蜘蛛, 表达式, 附加, 页面
以下列出了使用Firefox进行抓取的提示和建议,以及一系列有用的Firefox附加组件,以简化抓取过程。
用于抓取的有用的Firefox附件
萤火虫
Firebug是Web开发人员中广为人知的工具,它对于抓取也非常有用。特别是,当您需要构造用于提取数据的XPath时,它的Inspect Element功能非常方便,因为它允许您在将鼠标移动到每个页面元素上时查看每个页面元素的HTML代码。
有关如何使用Firebug和Scrapy的详细指南,请参阅使用Firebug进行抓取。
XPath的检查
XPath Checker是另一个用于测试页面上XPath的Firefox附加组件。
篡改数据
Tamper Data是一个Firefox附加组件,允许您查看和修改Firefox发送的HTTP请求标头。Firebug还允许查看HTTP标头,但不允许修改它们。
Firecookie使查看和管理cookie变得更加容易。您可以使用此扩展程序创建新Cookie,删除现有Cookie,查看当前网站的Cookie列表,管理Cookie权限等等。
评论被关闭。