Can AI agents use your website?

새로운 종류의 방문자

30년 동안 웹사이트에서 중요한 방문자는 정확히 한 종류뿐이었습니다. 브라우저에서 렌더링된 페이지를 보는 사람. 현대 웹의 모든 것 — JavaScript 번들, 쿠키 배너, 시각적 봇 챌린지 — 은 그 방문자를 위해 만들어졌습니다. AI 에이전트는 그 가정을 깹니다. 사용자를 위해 일하는 에이전트는 보통 JavaScript를 실행하지 않고 원시 HTML을 가져오고, GPTBot이나 ClaudeBot 같은 사용자 에이전트로 정직하게 신원을 밝히고, 사이트가 게시하는 기계용 파일(robots.txt, 사이트맵, llms.txt, OpenAPI 명세)을 읽고, 몇 번의 가져오기 안에 이 사이트를 이해하고 사용할 수 있는지를 판단합니다. 이 테스트를 통과하지 못하는 사이트는 요란하게 벌을 받지 않습니다. 에이전트는 그저 다른 곳으로 가고, 그 방문은 당신이 가진 어떤 분석 대시보드에도 나타나지 않습니다.

이것이 언젠가가 아니라 지금 중요한 이유는 에이전트가 실제 채널이 되고 있기 때문입니다. 구매를 조사하는 어시스턴트, 예약하고 구매하는 에이전트, 고객에게 답하기 위해 당신의 문서를 읽는 지원 에이전트, 그런 시스템이 답을 가져오는 인덱스를 만드는 크롤러. 모두가 기계 판독성으로 당신의 사이트에 점수를 매기고, 대부분의 사이트는 그런 식으로 읽히도록 설계된 적이 없습니다. 격차는 드물게도 악의나 태만 때문이 아닙니다 — 기계용 표면(크롤 규칙, 원시 HTML, API 설명)이 우연히 자라는 동안 사람용 표면이 모든 디자인 관심을 받은 결과입니다. 에이전트 준비도란 그 격차를 의도적으로 메우는 일입니다.

에이전트 준비도의 네 층

검사기는 에이전트가 경험하는 순서대로 네 층에 점수를 매깁니다. 발견(20점)은 에이전트가 사이트의 지도를 찾을 수 있는지입니다. 파싱 가능한 robots.txt와 주요 AI 크롤러에 대한 그 내용, 도달 가능한 사이트맵, llms.txt 파일, 구조화 데이터, 자기 자신을 가리키는 정규 URL. 접근(30점)은 에이전트가 도착한 뒤 들어갈 수 있는지입니다. 단순한 HTTP 클라이언트에 응답하는 페이지, AI 사용자 에이전트에 대한 거부 없음, 봇 챌린지 중간 페이지 없음, JavaScript를 기다리는 빈 셸이 아닌 원시 HTML의 실제 콘텐츠, HTTPS로의 깔끔한 리디렉션, 그리고 정직한 상태 코드 — 존재하지 않는 것에 대한 진짜 404. 없는 페이지와 실제 페이지를 구별할 수 없는 에이전트는 그 사이트가 말하는 다른 어떤 것도 신뢰할 수 없기 때문입니다.

사용성(40점)은 가장 큰 층입니다. 도착하는 것과 거래하는 것은 같지 않기 때문입니다. 사이트가 에이전트가 행동할 수 있는 장치를 드러내는지를 묻습니다. 에이전트가 찾는 경로에 있는 OpenAPI 명세, 기계가 찾을 수 있는 문서, 프로토콜 프로브에 응답하는 MCP 엔드포인트, 로그인할 API가 있을 때의 인증 발견 메타데이터, 그리고 소박한 웹 양식 — 가입, 문의, 리드 — 에 챌린지 없이 도달할 수 있고 올바르게 채울 수 있을 만큼 라벨이 붙어 있는 것. 결제(10점)는 에이전트가 결제할 수 있는지를 묻습니다. 신흥 에이전트 상거래 프로토콜(ACP, UCP, AP2, x402) 중 하나를 위한 발견 파일과, 에이전트의 얼굴에 챌린지를 들이밀지 않는 체크아웃. 결제는 사이트가 실제로 무언가를 팔 때만 점수가 매겨집니다. 상거래 신호가 없는 사이트에서는 층 전체가 해당 없고 점수는 그것 없이 다시 조정됩니다.

점수를 읽는 법

점수는 0에서 100까지이며, 문자 등급은 85점부터 A, 70점부터 B, 55점부터 C, 40점부터 D, 그 아래는 F입니다 — 그리고 B의 기준인 70점이 이 범주의 관례가 “에이전트 준비 완료” 선을 긋는 곳입니다. 숫자는 제품이 아니라 요약으로 취급하세요. 제품은 발견 사항 목록입니다. 실패하거나 경고한 모든 검사, 그것에 대해 수집한 증거, 그 의미, 수정 방법, 그리고 수정으로 되찾는 점수. “먼저 고칠 것” 순서는 그 목록을 되찾을 수 있는 점수 순으로 정렬한 것일 뿐이며, 이는 일반적인 체크리스트가 줄 순서와 거의 결코 일치하지 않습니다 — 빠진 llms.txt 하나가 겉치레 경고 세 개를 합친 것보다 가치 있을 수 있고, 정렬이 바로 그것을 알려줍니다.

두 가지 읽기 습관이 숫자를 정직하게 유지합니다. 첫째, 해당 없음 메커니즘을 존중하세요. 검사와 층 전체는 전제 조건이 없을 때 빠지고 점수는 다시 정규화되므로, 문서 사이트가 체크아웃으로 채점되지 않습니다. 점수는 적용된 층에 대해서만 의미가 있습니다. 둘째, 판정의 의미를 기억하세요. “찾을 수 없음”은 항상 “에이전트가 시도할 경로에서, 스캐너의 네트워크에서, 스캔 시점에 찾지 못했다”입니다. 에이전트는 관례적인 경로를 시도합니다 — 그것이 이 연습의 요점입니다 — 하지만 스캔은 기계용 표면의 표본이지, 사람이 지도하는 단호한 에이전트가 결국 발견할 수 있는 모든 것에 대한 감사는 아닙니다.

가장 비싼 실패와 그 수정법

같은 한 줌의 실패가 실제 사이트에서 잃는 점수의 대부분을 설명합니다. 기본으로 차단되는 AI 크롤러: 템플릿에서 복사한 robots.txt나 CDN 보안 프리셋이 GPTBot, ClaudeBot 등을 단호히 거부합니다 — 때로 사이트 소유자가 의도한 것과 정반대입니다. 같은 크롤러가 소유자가 나타나고 싶어 하는 답변 엔진을 먹여 살리기 때문입니다. 수정법은 의도적인 robots 정책입니다. 크롤러마다 결정하고, 적어 두고, 사이트맵은 허용 상태로 유지하세요. 빈 셸: 홈페이지는 JavaScript 번들과 스피너를 반환하고 실제 콘텐츠는 클라이언트 측에서만 렌더링됩니다. 사람은 결코 눈치채지 못하지만 에이전트에게는 빈 페이지가 보입니다. 중요한 콘텐츠는 서버 측에서 렌더링하거나 미리 렌더링하세요. 기계용 지도가 없음: 사이트맵 없음, llms.txt 없음, 구조화 데이터 없음 — 각각 추가 비용은 싸고, 각각 추가하기 전까지는 별도의 발견 사항입니다.

두 번째 한 줌은 읽기가 아니라 행동에 관한 것입니다. 챌린지 우선 보안: 낯선 모든 클라이언트에 챌린지를 거는 봇 벽은 모든 에이전트에도 챌린지를 겁니다. 수정법은 낯섦만이 아니라 행동과 위험 신호를 기준으로 챌린지를 걸고, 공개된 읽기 전용 표면은 도달 가능하게 유지하는 것입니다. 문서화되지 않았거나 발견할 수 없는 API: API는 존재하지만 찾을 수 있는 경로에 OpenAPI 명세가 없어, 모든 에이전트 통합이 맞춤형 추측 게임이 됩니다. 명세를 게시하는 것은 대부분의 프레임워크에서 한 번의 내보내기로 끝납니다. 에이전트가 채울 수 없는 양식: 라벨 없는 필드, 자리 표시자뿐인 힌트, 그리고 일상적인 문의 양식에 시각 퍼즐 풀기를 요구하는 제출 흐름. 이 수정법 중 어느 것도 사람용 사이트의 재설계를 요구하지 않습니다 — 기계용 층은 거의 전적으로 덧셈이기 때문에, 점수는 가져가라고 거기 있는 것입니다.

사례 연구: 이 사이트를 스캔하다

숫자에 앞서 한 가지 밝힙니다. sysosx.com 자체는 위의 공개 검사기로 스캔할 수 없습니다. 모든 sysosx 검사와 마찬가지로, 엔드포인트는 설계상 sysosx.com을 차단 대상으로 거부합니다. 도구가 자기 인프라를 가리킬 수 없도록 하기 위해서입니다. 따라서 아래 사례 연구는 다른 방식으로 만들어졌습니다 — 같은 스캔 엔진을, 같은 검사와 채점으로, 가동 중인 sysosx.com 사이트에 대해 로컬로 실행한 것입니다. 점수는 추정이 아니라 엔진의 실제 출력입니다. 다른 것은 관측 지점뿐입니다.

점수가 간 곳: 주요 발견 사항

자주 묻는 질문