如何阻止搜索引擎抓取WordPress网站
最近，我们的一位用户问我们如何阻止搜索引擎抓取他们的WordPress网站？在许多情况下，您希望阻止搜索引擎抓取您的网站或将其列在搜索结果中。在本文中，我们将向您展示如何阻止搜索引擎抓取WordPress网站。
为什么以及谁想要停止搜索引擎
对于大多数网站来说，搜索引擎是最大的流量来源。你可能会问，为什么有人想阻止搜索引擎？
在开始时，很多人不知道如何创建本地开发环境或临时站点。如果您使用可公开访问的域名开发网站，那么您可能不希望Google为您的构建或维护模式页面编制索引。
还有很多人使用WordPress来创建私人博客，他们不希望那些在搜索结果中编入索引的人因为他们是私密的。
还有一些人使用WordPress进行项目管理或内部网，您不希望内部文档可公开访问。
在上述所有情况下，您可能不希望搜索引擎为您的网站编制索引。
一个常见的误解是，如果我没有指向我的域的链接，那么搜索引擎可能永远不会找到我的网站。这不完全正确。
搜索引擎可以通过多种方式找到其他地方链接的网站。例如：
- 您的域名之前可能已由其他人拥有，并且他们现在仍然有一些链接指向您的网站。
- 某些域名搜索网站的搜索结果可以通过您的链接编制索引。
- 只有数千个页面只有域名列表，您的站点可以出现在其中一个域名上。
网上发生了很多事情，其中大部分都不在你的掌控之中。但是，您的网站仍在您的控制之下，您可以指示搜索引擎不索引或关注您的网站。
阻止搜索引擎对您的WordPress网站进行抓取和编制索引
WordPress带有内置功能，允许您指示搜索引擎不为您的网站编制索引。您所需要做的就是参观设置»阅读并选中“搜索引擎可见性”选项旁边的框。
选中此框后，WordPress会将此行添加到您网站的标题中：
<meta name="robots" content="noindex,follow" />
WordPress还会修改您网站的robots.txt文件，并将这些行添加到其中：
User-agent: * Disallow: /
这些行要求机器人（网络抓取工具）不要为您的网页编制索引。但是，完全取决于搜索引擎接受此请求或忽略它。尽管大多数搜索引擎都尊重这一点，但您网站上的某些页面或随机图片可能会被编入索引。
如何确保您的网站不会出现在搜索结果中？
默认的WordPress可见性设置指示搜索引擎不要为您的网站编制索引。但是，搜索引擎可能仍然会从您的网站抓取并索引页面，文件或图像。
确保搜索引擎根本不对您的网站编制索引或抓取的唯一方法是通过密码保护服务器级别的整个WordPress网站。
这意味着当有人试图访问您的网站时，他们会被要求提供用户名和密码，甚至在他们到达WordPress之前。这也包括搜索引擎。登录失败后，显示401错误，机器人转向。以下是密码保护整个WordPress网站的方法。
方法1：使用cPanel密码保护整个站点
如果您的WordPress托管服务提供商提供cPanel访问权限来管理您的托管帐户，那么您可以使用cPanel保护整个网站。您所要做的就是登录cPanel仪表板，然后单击“安全”部分下的“密码保护目录”图标。
接下来，您需要选择已安装WordPress的文件夹。通常，它是public_html文件夹。
如果您在public_html目录下安装了多个WordPress站点，则需要单击文件夹图标以浏览并选择要密码保护的网站的文件夹。
在下一个屏幕上，您需要输入受保护目录的名称，然后单击“保存”按钮。
您的信息将被保存，cPanel将重新加载页面。之后，您需要通过输入用户名和密码来添加授权用户。
就是这样，您已成功为WordPress网站添加了密码保护。
现在，每当用户或搜索引擎访问您的网站时，系统都会提示他们输入您之前创建的用户名和密码以查看该网站。
方法2：使用插件密码保护WordPress
如果您使用托管的WordPress托管解决方案，有时您无权访问cPanel。
在这种情况下，您可以选择使用不同的WordPress插件来密码保护您的网站。以下是两种最受欢迎的解决方案：
- SeedProd – 它是即将推出的＃1即将推出的WordPress维护模式插件，用于超过800,000多个网站。它具有完整的访问控制和权限功能，您可以使用它来隐藏包括搜索引擎在内的所有人的网站。我们为SeedProd提供了一步一步的指导。
- 密码保护 – 这是一种使用单个密码密码保护您的WordPress网站的简单方法（无需创建用户）。请参阅有关如何使用密码保护WordPress网站的分步指南。
评论被关闭。