例如，如果我发现像“nygov-unav”这样的类别或ID“

[nusaiba123]

ny-universal-navigation”，我会将它们从抓取中排除。 对其他导航区域（包括页脚）重复此过程。如果不确定，请从上面的默认列表开始，或咨询团队中的某个人，了解导航 div、类和 ID。 调整 robots.txt 设置 导航到配置 > 机器人。 按照我的屏幕截图中显示的设置。 屏幕截图显示了 Screaming Frog 中的“机器人”配置设置 最终设置检查 此时，您可以单击“确定”并完成操作。我没有为此练习连接到 Google Analytics、Search Console或任何SEO API ，因为启用JavaScript和XML站点地图的 Screaming Frog 应该可以找到所有重要页面。


预备，开始，爬行 单击“开始”并让爬网运行约一分钟。 转到“自定义 JavaScr 澳大利亚 电话号码 ipt”选项卡并进行过滤，仅显示“（ChatGPT）从页面内容中提取嵌入”。您应该会看到大多数 URL 旁边出现数字。 Screaming Frog 的“自定义 JavaScript”选项卡的屏幕截图，以数字形式显示提取的嵌入数据 如果一切看起来不错： 单击“暂停”并保存文件。 再次点击“恢复”。（这是一个非常好的习惯。） 步骤 3：导出向量嵌入和所有内链 从 Screaming Frog 导出“所有内部链接” 我首先从 Screaming Frog 导出“所有内部链接”数据。



此文件包含网站上的每个内部链接，可能非常大。例如，我的文件 all_inlinks.csv 大约有 52 MB，代表 1,428 个 URL。 屏幕截图显示了如何从 Screaming Frog 导出“所有内链”数据 从 Screaming Frog 导出矢量嵌入 接下来，我将向量嵌入导出为 file.csv 并保存以供日后使用。 此时，我在关闭工具之前再次保存了 Screaming Frog 项目。现在，是时候进入下一阶段了。 屏幕截图显示了从“all_inlinks.csv”文件导入 Google 表格的数据 步骤 4：创建电子表格 我在本教程中使用了 Google 表格，但您可以在 Excel 中遵循相同的过程。