先拆读者流量
Anthropic 的站点所有者说明展示了如何用抓取规则控制 Claude 相关访问，适合品牌站把商品、政策和知识库边界写清楚。
把商品事实、公开政策、帮助中心、会员内容和内部文档分成不同可访问层，不让 AI 爬虫 误读商业边界。
数字不等于读者
真正有用的问题不是访问看起来有多热闹，而是哪部分代表读者、监测、抓取、重试或系统错误。
先核对访问口径
- 为商品页、帮助中心、会员区和内部文档分别标注可抓取、可引用、需登录或禁止访问
- 先选一个重点商品或结账流程验证，不要把推荐、授权、付款和售后一次性全铺开
哪些还要核验
如果默认边界缺失，AI 爬虫可能访问到不适合公开回答的内容，也可能错过最该引用的商品事实。原始来源保留在文末，方便把公告事实、证据和本站判断分开看。