Can AI agents use your website?

Новый вид посетителя

Тридцать лет у сайта был ровно один вид посетителя, который имел значение: человек в браузере, смотрящий на отрендеренные страницы. Всё в современной вебе — пакеты JavaScript, баннеры cookie, визуальные бот-челленджи — строилось для этого посетителя. ИИ-агенты ломают это допущение. Агент, работающий на пользователя, обычно получает сырой HTML без выполнения JavaScript, честно представляется пользовательским агентом вроде GPTBot или ClaudeBot, читает машино-ориентированные файлы, которые публикует сайт (robots.txt, карты сайта, llms.txt, спецификации OpenAPI), и за несколько запросов решает, можно ли этот сайт вообще понять и использовать. Сайты, не прошедшие этот тест, не наказываются громко; агент просто уходит в другое место, и визит никогда не появляется ни в одной вашей аналитической панели.

Это важно сейчас, а не когда-нибудь, потому что агенты становятся настоящим каналом: ассистенты, исследующие покупки, агенты, которые бронируют и покупают, агенты поддержки, читающие вашу документацию, чтобы отвечать клиентам, краулеры, строящие индексы, из которых эти системы отвечают. Каждый из них оценивает ваш сайт по машиночитаемости, а большинство сайтов никогда не проектировались для такого чтения. Разрыв редко бывает злым умыслом или небрежностью — это то, что машино-ориентированная поверхность (правила обхода, сырой HTML, описания API) росла случайно, пока человеко-ориентированная поверхность получала всё внимание дизайна. Готовность к агентам — это дисциплина осознанного закрытия этого разрыва.

Четыре слоя готовности к агентам

Проверка оценивает четыре слоя, в том порядке, в котором агент их переживает. Обнаружение (20 баллов) — может ли агент найти карту сайта: разбираемый robots.txt и то, что он говорит главным ИИ-краулерам, достижимая карта сайта, файл llms.txt, структурированные данные, канонический URL, указывающий на самого себя. Доступ (30 баллов) — может ли агент войти, когда прибыл: страницы, отвечающие простому HTTP-клиенту, никакого отказа ИИ-агентам, никакой промежуточной страницы бот-челленджа, настоящее содержимое в сыром HTML вместо пустой оболочки, ждущей JavaScript, чистое перенаправление на HTTPS и честные коды состояния — настоящая 404 для того, чего нет, потому что агент, который не может отличить отсутствующую страницу от настоящей, не может доверять ничему другому, что говорит сайт.

Удобство (40 баллов) — самый большой слой, потому что прибыть — не то же, что совершить сделку. Оно спрашивает, открывает ли сайт механизм, через который агент может действовать: спецификацию OpenAPI по путям, которые ищут агенты, документацию, которую может найти машина, эндпоинт MCP, отвечающий на протокольный зонд, метаданные обнаружения аутентификации, когда есть API для входа, и скромные веб-формы — регистрацию, связь, лиды, — достижимые без челленджа и достаточно хорошо подписанные, чтобы их правильно заполнить. Платежи (10 баллов) спрашивают, может ли агент заплатить: файл обнаружения для одного из новых протоколов агентной торговли (ACP, UCP, AP2, x402) и оформление, которое не швыряет челлендж в лицо агенту. Платежи оцениваются только тогда, когда сайт действительно что-то продаёт; на сайте без торговых сигналов весь слой не применим, и оценка пересчитывается без него.

Как читать оценку

Оценка идёт от 0 до 100, с буквенными оценками A от 85, B от 70, C от 55, D от 40 и F ниже — и 70, порог B, — это то место, где условность категории проводит линию «готов к агентам». Относитесь к числу как к сводке, а не продукту. Продукт — это список находок: каждая проверка, которая провалилась или предупредила, собранное для неё доказательство, её смысл, исправление и баллы, которые исправление возвращает. Порядок «исправить первым» — это просто тот список, отсортированный по возвращаемым баллам, что почти никогда не совпадает с порядком, который дал бы общий контрольный список — отсутствующий llms.txt может стоить больше, чем три косметических предупреждения вместе, и сортировка — это то, что вам об этом говорит.

Две привычки чтения держат число честным. Во-первых, уважайте механизм «не применимо»: проверки и целые слои выпадают, когда их предпосылка отсутствует, и оценка перенормируется, так что сайт документации не оценивается по его оформлению. Оценка имеет смысл только на фоне слоёв, которые применялись. Во-вторых, помните, что значит вердикт: «не найдено» — это всегда «не найдено по путям, которые попробовал бы агент, из сети сканера, на момент сканирования». Агенты пробуют обычные пути — в этом и смысл упражнения, — но сканирование — это образец машино-ориентированной поверхности, а не аудит всего, что решительный агент с человеческим наставником мог бы в итоге обнаружить.

Сбои, которые стоят дороже всего, и их исправления

Одна и та же горсть сбоев объясняет большинство потерянных баллов на настоящих сайтах. ИИ-краулеры, заблокированные по умолчанию: robots.txt, скопированный из шаблона, или предустановка безопасности CDN категорически отказывает GPTBot, ClaudeBot и компании — иногда вопреки тому, что владелец намеревался, ведь те же краулеры питают ответные движки, в которых владелец хочет появляться. Исправление — осознанная политика роботов: решайте по каждому краулеру, записывайте, держите карту сайта разрешённой. Пустая оболочка: главная страница возвращает пакет JavaScript и спиннер, а настоящее содержимое рендерится только на клиенте; люди никогда не замечают, агенты видят пустую страницу. Рендерите на сервере или предварительно рендерите содержимое, которое имеет значение. Нет карты для машин: нет карты сайта, нет llms.txt, нет структурированных данных — каждое дёшево добавить, каждое — отдельная находка, пока вы этого не сделаете.

Вторая горсть — о действии, а не о чтении. Безопасность «сначала челлендж»: бот-стена, которая бросает вызов каждому незнакомому клиенту, бросает вызов и каждому агенту; исправление — бросать вызов по поведению и сигналам риска, а не только по незнакомости, и держать публичную поверхность только для чтения достижимой. Недокументированные или необнаружимые API: API существует, но нет спецификации OpenAPI по находимому пути, поэтому каждая интеграция агента становится заказной игрой в угадайку; публикация спецификации — это одноразовый экспорт в большинстве фреймворков. Формы, которые агент не может заполнить: неподписанные поля, подсказки только в заполнителе и потоки отправки, требующие решить визуальную головоломку ради рутинной формы связи. Ни одно из этих исправлений не требует перепроектировать человеческий сайт — машино-ориентированный слой почти полностью аддитивен, и именно поэтому баллы лежат там, чтобы их брали.

Пример из практики: этот сайт, просканированный

Одно раскрытие перед числом. Сам sysosx.com нельзя просканировать публичной проверкой выше: как каждая проверка sysosx, эндпоинт отказывает sysosx.com как заблокированной цели, по замыслу, чтобы инструмент нельзя было нацелить на его собственную инфраструктуру. Пример ниже поэтому создан иначе — тот же движок сканирования, с теми же проверками и оценкой, запущенный локально против живого сайта sysosx.com. Оценка — настоящий вывод движка, а не прикидка; отличается только точка наблюдения.

Куда ушли баллы: главные находки

Частые вопросы