先看搜索证据
Google 抓取规则文档强调规则用于管理爬虫访问；对需要保密或不进入索引的内容，还要配合访问控制或其他索引控制。
公开页面应该解释抓取规则适合什么、不适合什么，并把站点地图、规范链接和不收录决策分开。
被看见不等于被选择
抓取规则不是访问权限。增长类信号最容易被看成流量技巧，但真正值得保存的是搜索意图、页面结构、证据表达和下一步转化之间的关系。
真正有用的问题不是页面有没有出现过，而是搜索问题、页面承诺和下一步动作是否服务同一个读者任务。
先核对页面路径
- 给每类页面补一行处理方式：允许抓取、禁止抓取、不收录、登录保护或移除
- 先选一个重点页面验证主题、来源、内链和转化动作，不要把信号提前包装成完整内容战略
哪些还要核验
把抓取规则当保密方案会让敏感内容仍有暴露风险。原始来源保留在文末，方便把公告事实、证据和本站判断分开看。