您可以使用scrapy项目内部的工具来控制和管理它们。

例如，要创建一个新蜘蛛：

scrapy genspider mydomain mydomain.com

某些Scrapy命令（如crawl）必须从Scrapy项目内部运行。有关必须从项目内部运行哪些命令以及哪些命令不能运行，请参阅下面的命令参考。

还要记住，某些命令在从项目内部运行时可能会略有不同的行为。例如，user_agent如果获取的url与某个特定的spider相关联，则fetch命令将使用spider-overridden行为（例如覆盖用户代理的属性）。这是故意的，因为该fetch命令旨在用于检查蜘蛛如何下载页面。

评论被关闭。