先看搜索证据
抓取控制功能把智能爬虫访问变成可管理对象，适合内容站区分可抓取内容、不可抓取内容和需要观察的路径。
为首页、日报、专题页、资源库和隐私/条款页分别写清 AI 爬虫策略，不把整站一刀切开放或封禁。
被看见不等于被选择
真正有用的问题不是页面有没有出现过，而是搜索问题、页面承诺和下一步动作是否服务同一个读者任务。
先核对页面路径
- 按页面类型做一张 AI 爬虫策略表：允许、限制、观察、禁止，并写出原因
- 先选一个重点页面验证主题、来源、内链和转化动作，不要把信号提前包装成完整内容战略
哪些还要核验
没有访问边界时，AI 爬虫可能抓到低价值、重复或不适合外部引用的页面。原始来源保留在文末，方便把公告事实、证据和本站判断分开看。