该报告显示有关检测到的错误和可用性状

htossain998

建 robotstxt 文件时，答案是显而易见的。为此，您不需要在计算机上安装专门的软件；记事本就足够了。 请务必在每次文档更新后保存更改。标准程序没有自动保存功能，因此在编辑过程中可能会丢失一些数据，您将不得不重新开始工作。 62 将规则添加到文件 在机器人中设计规则的最佳方法是结合用户代理并使用注释。在文件的不同部分为一个机器人指定规则是没有意义的。 添加规则时，请确保不存在冲突。它们导致搜索引擎自行决定行事。尽管即使所有内容都指定正确，也不能保证指令会被遵循。 63 检查语法 用于 SEO 的正确 robotstxt 是一个没有语法错误的文件。大多数情况下，初学者在编写指令时会犯错误。例如，他们写为 Disalow，而不是 Disallow。 您还需要仔细监控斜线、星号和散列的使用。这些符号很容易让人困惑，并关闭或打开不必要的页面进行扫描。您可以使用各种在线服务检查语法。 64 上传文件 创

建文件结构并将最终版本保存在计算机上后，剩下的就是将其下载到服务器。只有根目录适合此操作。 我们建议限制覆盖文件的能力，因为更新 CMS 和插件后，语法可能会受到影响。这种情况并不经常发生，但只有这样才能消除问题。 65 如有必要，进行测试并修复错误 robotstxt 文件的创建并没有就此结束。您还需要确保它不包含错误。您可以手动或使用在线扫描仪关闭任务。 例如，您可以使用一个可以很好地进行语法分析的工具。态的信息。 您可所有重要页 电话号码清单 面的链接非以在  Search Console 中找到抓取和索引问题。但最好是防止它们出现，并从技术优化中获得最大利益。 7 使用 Robotstxt 的最佳实践 使用服务文件通常并不困难，但在推广大型项目时，创建理想的规则集可能很困难。 优化 robotstxt 需要时间和相关经验。在线扫描仪可以让您节省资源，但不能满足您的所有需求，因此不能放弃手动分析。 有效使用 robotstxt 的技巧对于任何经验水平的网站站长都非常有用。有时，即使是一个小错误也会毁掉大量已完成的工作，需要迅速注意到。 71 每个指令使用一个新行 初学者在开始理解robotstxt的



语法时，经常会犯一个错误，即把规则写在一行里。这给搜索引擎机器人带来了问题。 为了保护自己免受负面后果的影响，您需要将每条规则另起一行。这对于蜘蛛程序和更新文件的专家的导航都很有用。 糟糕的是： 用户代理：* 禁止：/admin-panel 美好的： 用户代理：* 禁止：/admin-panel 72 每个用户代理仅使用一次 当新的 SEO 专家开始想知道 robotstxt 中应该包含什么内容时，很少有人记得正确使用用户代理的必要性。找到流行蜘蛛的列表不是问题，但这还不是全部。 如果为一项作业创建了 50 条规则，则应将它们合并。机器人自我合并不会有任何问题，但从文件易用性的角度来看，这样做也更好。 糟糕的是： 用户代理：bot 禁止：/admins-panel …。 用户代理：bot 允许：/blog 美好的： 用户代理：bot 不允许：/admins-panel 允许：/blog 73 为不同的子域创建单独的 Robotstxt 文件 当推广上千个页面、几十个子域名的大型项目时，需要对每个目录分别进