在阻止“坏”机器人方面做

[zihadhasan011]

用 Robots.txt 使用 robots.txt 文件的最佳方式是根本不使用它。嗯...差不多。使用它来表明机器人可以完全访问您网站上的所有文件，并将机器人引导到您的 文件。就是这样。 您的 robots.txt 文件应如下所示：户代理： * 禁止： 站点地图：恶意机器人 我在本文前面提到过“遵循 robots.txt 文件说明的机器人”，这意味着有些机器人根本不遵守 robots.txt。


因此，虽然您在阻止好机器人方面做得很好，但得很糟糕 牙医数据 。此外，不建议进行过滤以仅允许机器人访问 Google/Bing，原因有三： 引擎频繁更改/更新机器人名称（例如 Bing 机器人名称最近更改） 引擎针对不同类型的内容（例如图像、视频、移动等）采用多种类型的机器人。 由于制度化偏好仅限于现有用户代理（例如 Blekko、Yandex 等），新引擎/内容发现技术的起步机会更小，而搜索竞争对行业有利。 竞争对手 如果您的竞争对手精通 SEO，他们就会查看您的 robots.txt 文件，看看能发现什么。


假设您正在进行新的重新设计，或者正在开发一条全新的产品线，并且您的 robots.txt 文件中有一行禁止机器人“索引”它。如果竞争对手出现，查看该文件并看到这个名为“/newproducttest”的目录，那么他们就中奖了！最好将其保存在临时服务器上，或登录后。不要在这个小文件中泄露您的所有秘密。 处理非 HTML 和系统内容 没有必要在 robots.txt 中阻止 .js 和 .css 文件。搜索引擎不会对它们进行索引，但有时它们喜欢分析它们的能力，因此最好保持访问权限开放。