站内判断
AI 出海网站不能简单把所有 bot 当坏流量，也不能放任异常路径。要记录来源、验证身份、保留 sitemap/robots 健康，同时监控 404/504。
agent-ready web 的基础不是开放一切，而是让合法抓取更清楚，让异常访问更容易被识别。
Cloudflare 的 agentic web 信号提醒：bot 流量不是都该挡，关键是识别和授权
Cloudflare 过去 24 小时能看到 GoogleBot、AppleBot、BingBot 和大量 headless/curl 访问，同时也有 /wp-admin/install.php 这类异常路径；站点需要区分有价值抓取和无效攻击面。
