哪款AI真的在读取你的网站？Evil Martians 团队实测两月LLM流量，ChatGPT与Claude行为截然相反

近日，开发者服务公司 Evil Martians 在其团队博客公布了为期两个月的服务器端追踪数据，对 web 流量中人类访客与 AI 爬虫的行为差异进行了量化分析。数据显示，AI 代理请求量达到 26.8 万次，远超同期 10.7 万次的人类页面浏览，但“AI 流量”并非铁板一块，而是呈现出两种截然不同的客户端画像。ChatGPT-User 以 73% 的请求量占据绝对主导，且几乎只读取 HTML 页面；而 Claude Code 则通过 Accept: text/markdown 标头，明确要求 Markdown 格式，此类请求占其总请求的 76%。此外，专为 AI 设计的 llms.txt 文件总计被拉取约 660 次，但其中仅有约 37 次请求来自可识别的知名 AI 助手，大量抓取或源于未知工具。团队埋设在页面中的隐藏提示 div，更是零次被任何 AI 跟踪读取，暗示单纯依赖隐藏提示来引导模型行为可能完全无效。这一研究为网站运营者在应对大语言模型时代的内容抓取与格式优化提供了宝贵的实证依据，也重新定义了“AI 友好”网站策略的考量维度。