用户代理：Yandex
禁止：/cart
因此，Yandex 机器人不会索引 /cart 页面并将其 越南手机号码格式 包含在索引中。 robots.txt 的形成需要更多的关注并使用特殊服务测试功能。如果出现错误，则存在完全阻止整个站点建立索引的风险。
网站优化_机器人
网站地图最全面地反映了网络资源的整个页面列表。此类卡片根据其用途而具有不同的外观。用户网站地图的内容是结构化的，并且有材料的描述。
搜索机器人的 XML 映射不仅包含页面列表，还包含机器人索引站点的说明，例如，标记最近添加的条目。许多流行的引擎提供特殊模块来帮助自动创建网站地图。
网站设计优化
任何网站都必须在所有浏览器（Firefox、Opera、Chrome，以及最重要的 IE）中正确显示。正是在这个阶段，需要再次检查这一点。所有标签、表格和块在所有浏览器中看起来都应该相同，并且满足基本的设计要求。
有关此主题的推荐文章：
内部网站优化：分步分析
检查robots.txt：常见错误及其消除
从 http 重定向到 https：提高站点安全性
要检查这一点，您需要安装多个浏览器，启动网站并查看页面的显示方式。每个浏览器都能够正确显示基本标签，但文本呈现和 div 放置可能看起来不同。您需要特别仔细地检查网站在IE浏览器中的正确运行。
从设计角度优化网站以确保它们在不同浏览器中正确显示是一个非常重要的步骤，不应跳过。
查找并删除重复页面
所有重复页面都会受到及时检测和销毁。搜索机器人可能会认为升级页面的副本与请求更相关。在这种情况下，复制页的地址是不同的。因此，所有推广您网站的工作都将是徒劳的。
网站优化_双页
为了避免这种情况，有必要提前禁止索引或删除重复页面，如果：
存在于多个地址（例如，有或没有 CNC、末尾有或没有斜杠等）；
使用 CMS 服务功能（标签、类别、打印页面），从而产生许多重复项；
存在于两个域中：有或没有 www（在这种情况下，使用 robots.txt 进行“粘合”会有所帮助）。
必须禁止对所有这些页面建立索引。
