AI 智能體能用你的網站嗎？

一種新的訪客

三十年來，網站只有一種真正重要的訪客：一個在瀏覽器裡看算繪後頁面的人。現代網路的一切——JavaScript 打包、cookie 橫幅、視覺機器人挑戰——都是為這種訪客建的。AI 智能體打破了這個假設。為使用者工作的智能體通常抓取原始 HTML 而不執行 JavaScript，用 GPTBot、ClaudeBot 之類的使用者代理誠實表明身分，讀取網站發布的面向機器的檔案（robots.txt、網站地圖、llms.txt、OpenAPI 規範），並在幾次抓取之內決定這個網站能否被理解和使用。不通過這個測試的網站不會被大聲懲罰；智能體只是去了別處，而這次造訪永遠不會出現在你擁有的任何分析儀表板裡。

這件事是現在重要，而不是將來重要，因為智能體正在成為一個真實的渠道：做購買調研的助手、負責預訂和購買的智能體、讀你的文件來回答客戶的支援智能體、為這些系統建立答案索引的爬蟲。它們每一個都按機器可讀性給你的網站打分，而大多數網站從來不是按這種讀法設計的。差距很少源於惡意或忽視——而是面向機器的表面（爬蟲規則、原始 HTML、API 描述）在無人關注中任意生長，而面向人的表面得到了全部的設計投入。智能體就緒，就是刻意補上這個差距的學科。

智能體就緒的四層

檢查器按智能體體驗的順序對四層評分。發現（20 分）是智能體能否找到網站的地圖：可解析的 robots.txt 及其對主要 AI 爬蟲的說法、可達的網站地圖、llms.txt 檔案、結構化資料、指向自身的 canonical URL。存取（30 分）是智能體到達後能否進去：頁面回應普通 HTTP 用戶端、不拒絕 AI 使用者代理、不丟機器人挑戰頁、原始 HTML 裡有真實內容而不是等著 JavaScript 的空殼、乾淨地轉址到 HTTPS，以及誠實的狀態碼——對不存在的東西傳回真正的 404，因為一個分不清缺失頁面和真實頁面的智能體，無法信任這個網站說的任何其他話。

可用性（40 分）是最大的一層，因為到達不等於成交。它問的是網站是否暴露了智能體可以藉以行動的機制：在智能體會找的路徑上的 OpenAPI 規範、機器能找到的文件、回應協定探測的 MCP 端點、有 API 要登入時的認證發現中繼資料，以及那些不起眼的網頁表單——註冊、聯絡、線索——能免挑戰到達並標註得夠好以便正確填寫。支付（10 分）問的是智能體能否付款：新興智能體商業協定（ACP、UCP、AP2、x402）之一的發現檔案，以及不會把挑戰甩在智能體臉上的結帳流程。支付層只在網站真的賣東西時才評分；沒有商業訊號的網站，整層不適用，分數會在去掉它之後重新縮放。

如何讀懂一個分數

分數從 0 到 100，字母等級為 85 分起 A、70 分起 B、55 分起 C、40 分起 D、以下 F——而 70 分這個 B 級門檻，就是這個品類的慣例把「智能體就緒」線畫的地方。把數字當作摘要，而不是產品。產品是發現清單：每項失敗或警告的檢查、為之收集的證據、它的含義、修復方法，以及修復能挽回的分數。「先修這些」的排序就是把這份清單按可挽回分數排序，這幾乎從來不是一份通用清單會給你的順序——一個缺失的 llms.txt 可能比三條裝飾性警告加起來還值錢，而排序會告訴你這一點。

兩個閱讀習慣能讓數字保持誠實。第一，尊重不適用機制：檢查和整層會在前提缺席時退出，分數重新歸一化，所以文件站不會被拿結帳來打分。分數只有對照實際適用的層才有意義。第二，記住判定的含義：「未找到」永遠是「在智能體會嘗試的路徑上、從掃描器的網路、於掃描時刻未找到」。智能體嘗試的是約定俗成的路徑——這正是這件事的要點——但一次掃描是面向機器表面的一個樣本，不是對一個有真人指導的智能體最終能發現的一切的稽核。

代價最高的失敗及其修復

同一小撮失敗占據了真實網站遺失分數的大部分。AI 爬蟲被預設封鎖：從範本抄來的 robots.txt，或者 CDN 的安全預設，直接拒絕 GPTBot、ClaudeBot 等——有時與站長想要的恰好相反，因為同一批爬蟲正餵養著站長希望出現的答案引擎。修復方法是制定刻意的 robots 策略：逐個爬蟲做決定、寫下來、保持網站地圖可達。空殼：首頁傳回一個 JavaScript 包和一個轉圈動畫，真正的內容只在用戶端算繪；真人從不察覺，智能體看到的是一個空頁面。把重要的內容做伺服器端算繪或預先算繪。沒有機器地圖：沒有網站地圖、沒有 llms.txt、沒有結構化資料——每一項都便宜，每一項在補上之前都是一條獨立的發現。

第二小撮關乎行動而非閱讀。挑戰優先的安全策略：一堵挑戰每個陌生用戶端的機器人牆，也會挑戰每個智能體；修復方法是按行為和風險訊號而不是僅按陌生程度來挑戰，並保持公開的唯讀表面可達。無文件或不可發現的 API：API 存在，但在可找到的路徑上沒有 OpenAPI 規範，於是每一次智能體整合都變成一場客製化的猜謎遊戲；在大多數框架裡，發布規範只是一次性匯出。智能體填不了的表單：沒有標註的欄位、只有占位符的提示、以及一個例行聯絡表單也要解視覺謎題的提交流程。這些修復沒有一項需要重新設計面向人的網站——面向機器的層幾乎完全是疊加的，這正是這些分數唾手可得的原因。

案例研究：本站，接受掃描

在給出數字之前，先做一個揭露。sysosx.com 本身無法用上面的公共檢查器掃描：和 sysosx 的每一項檢查一樣，該端點按設計拒絕把 sysosx.com 作為被封鎖目標，這樣工具就無法指向它自己的基礎設施。因此下面的案例研究用了不同的產生方式——同一個掃描引擎、同樣的檢查和評分，在本機對線上的 sysosx.com 網站執行。分數是真實的引擎輸出，不是估算；不同的只有觀察點。

分數丟在哪裡：最重要的發現

常見問題