AI 智能体能用你的网站吗？

一种新的访客

三十年来，网站只有一种真正重要的访客：一个在浏览器里看渲染后页面的人。现代网络的一切——JavaScript 打包、cookie 横幅、视觉机器人挑战——都是为这种访客建的。AI 智能体打破了这个假设。为用户工作的智能体通常抓取原始 HTML 而不执行 JavaScript，用 GPTBot、ClaudeBot 之类的用户代理诚实表明身份，读取网站发布的面向机器的文件（robots.txt、站点地图、llms.txt、OpenAPI 规范），并在几次抓取之内决定这个网站能否被理解和使用。不通过这个测试的网站不会被大声惩罚；智能体只是去了别处，而这次访问永远不会出现在你拥有的任何分析仪表盘里。

这件事是现在重要，而不是将来重要，因为智能体正在成为一个真实的渠道：做购买调研的助手、负责预订和购买的智能体、读你的文档来回答客户的支持智能体、为这些系统构建答案索引的爬虫。它们每一个都按机器可读性给你的网站打分，而大多数网站从来不是按这种读法设计的。差距很少源于恶意或忽视——而是面向机器的表面（爬虫规则、原始 HTML、API 描述）在无人关注中随意生长，而面向人的表面得到了全部的设计投入。智能体就绪，就是刻意补上这个差距的学科。

智能体就绪的四层

检查器按智能体体验的顺序对四层评分。发现（20 分）是智能体能否找到网站的地图：可解析的 robots.txt 及其对主要 AI 爬虫的说法、可达的站点地图、llms.txt 文件、结构化数据、指向自身的 canonical URL。访问（30 分）是智能体到达后能否进去：页面响应普通 HTTP 客户端、不拒绝 AI 用户代理、不抛机器人挑战页、原始 HTML 里有真实内容而不是等着 JavaScript 的空壳、干净地跳转到 HTTPS，以及诚实的状态码——对不存在的东西返回真正的 404，因为一个分不清缺失页面和真实页面的智能体，无法信任这个网站说的任何其他话。

可用性（40 分）是最大的一层，因为到达不等于成交。它问的是网站是否暴露了智能体可以借以行动的机制：在智能体会找的路径上的 OpenAPI 规范、机器能找到的文档、响应协议探测的 MCP 端点、有 API 要登录时的认证发现元数据，以及那些不起眼的网页表单——注册、联系、线索——能免挑战到达并标注得足够好以便正确填写。支付（10 分）问的是智能体能否付款：新兴智能体商业协议（ACP、UCP、AP2、x402）之一的发现文件，以及不会把挑战甩在智能体脸上的结账流程。支付层只在网站真的卖东西时才评分；没有商业信号的网站，整层不适用，分数会在去掉它之后重新缩放。

如何读懂一个分数

分数从 0 到 100，字母等级为 85 分起 A、70 分起 B、55 分起 C、40 分起 D、以下 F——而 70 分这个 B 级门槛，就是这个品类的惯例把“智能体就绪”线画的地方。把数字当作摘要，而不是产品。产品是发现清单：每项失败或警告的检查、为之收集的证据、它的含义、修复方法，以及修复能挽回的分数。“先修这些”的排序就是把这份清单按可挽回分数排序，这几乎从来不是一份通用清单会给你的顺序——一个缺失的 llms.txt 可能比三条装饰性警告加起来还值钱，而排序会告诉你这一点。

两个阅读习惯能让数字保持诚实。第一，尊重不适用机制：检查和整层会在前提缺席时退出，分数重新归一化，所以文档站不会被拿结账来打分。分数只有对照实际适用的层才有意义。第二，记住判定的含义：“未找到”永远是“在智能体会尝试的路径上、从扫描器的网络、于扫描时刻未找到”。智能体尝试的是约定俗成的路径——这正是这件事的要点——但一次扫描是面向机器表面的一个样本，不是对一个有真人指导的智能体最终能发现的一切的审计。

代价最高的失败及其修复

同一小撮失败占据了真实网站丢失分数的大部分。AI 爬虫被默认屏蔽：从模板抄来的 robots.txt，或者 CDN 的安全预设，直接拒绝 GPTBot、ClaudeBot 等——有时与站长想要的恰好相反，因为同一批爬虫正喂养着站长希望出现的答案引擎。修复方法是制定刻意的 robots 策略：逐个爬虫做决定、写下来、保持站点地图可达。空壳：首页返回一个 JavaScript 包和一个转圈动画，真正的内容只在客户端渲染；真人从不察觉，智能体看到的是一个空页面。把重要的内容做服务端渲染或预渲染。没有机器地图：没有站点地图、没有 llms.txt、没有结构化数据——每一项都便宜，每一项在补上之前都是一条独立的发现。

第二小撮关乎行动而非阅读。挑战优先的安全策略：一堵挑战每个陌生客户端的机器人墙，也会挑战每个智能体；修复方法是按行为和风险信号而不是仅按陌生程度来挑战，并保持公开的只读表面可达。无文档或不可发现的 API：API 存在，但在可找到的路径上没有 OpenAPI 规范，于是每一次智能体集成都变成一场定制的猜谜游戏；在大多数框架里，发布规范只是一次性导出。智能体填不了的表单：没有标注的字段、只有占位符的提示、以及一个例行联系表单也要解视觉谜题的提交流程。这些修复没有一项需要重新设计面向人的网站——面向机器的层几乎完全是叠加的，这正是这些分数唾手可得的原因。

案例研究：本站，接受扫描

在给出数字之前，先做一个披露。sysosx.com 本身无法用上面的公共检查器扫描：和 sysosx 的每一项检查一样，该端点按设计拒绝把 sysosx.com 作为被屏蔽目标，这样工具就无法指向它自己的基础设施。因此下面的案例研究用了不同的产生方式——同一个扫描引擎、同样的检查和评分，在本地对线上的 sysosx.com 网站运行。分数是真实的引擎输出，不是估算；不同的只有观察点。

分数丢在哪里：最重要的发现

常见问题