Can AI agents use your website?

Eine neue Art von Besucher

Dreißig Jahre lang hatte eine Website genau eine Art von Besucher, die zählte: einen Menschen, in einem Browser, der gerenderte Seiten ansieht. Alles an der modernen Web — die JavaScript-Bündel, die Cookie-Banner, die visuellen Bot-Challenges — wurde für diesen Besucher gebaut. KI-Agenten brechen die Annahme. Ein Agent, der für einen Nutzer arbeitet, ruft typischerweise rohes HTML ab, ohne JavaScript auszuführen, gibt sich ehrlich mit einem User-Agent wie GPTBot oder ClaudeBot zu erkennen, liest die maschinenorientierten Dateien, die eine Website veröffentlicht (robots.txt, Sitemaps, llms.txt, OpenAPI-Spezifikationen), und entscheidet innerhalb weniger Abrufe, ob diese Website überhaupt verstanden und benutzt werden kann. Websites, die diesen Test nicht bestehen, werden nicht laut bestraft; der Agent geht einfach anderswohin, und der Besuch erscheint in keinem Analytics-Dashboard, das du besitzt.

Das zählt jetzt und nicht irgendwann, weil Agenten zu einem echten Kanal werden: Assistenten, die Käufe recherchieren, Agenten, die buchen und kaufen, Support-Agenten, die deine Dokumentation lesen, um Kunden zu antworten, Crawler, die die Indizes bauen, aus denen diese Systeme antworten. Jeder von ihnen benotet deine Website nach Maschinenlesbarkeit, und die meisten Websites wurden nie dafür entworfen, so gelesen zu werden. Die Lücke ist selten Bosheit oder Vernachlässigung — es ist, dass die maschinenorientierte Oberfläche (die Crawl-Regeln, das rohe HTML, die API-Beschreibungen) aus Versehen wuchs, während die menschenorientierte Oberfläche die ganze Design-Aufmerksamkeit bekam. Agenten-Bereitschaft ist die Disziplin, diese Lücke absichtlich zu schließen.

Die vier Schichten der Agenten-Bereitschaft

Der Prüfer bewertet vier Schichten, in der Reihenfolge, in der ein Agent sie erlebt. Die Entdeckung (20 Punkte) ist, ob der Agent die Karte der Website finden kann: eine parsebare robots.txt und was sie den großen KI-Crawlern sagt, eine erreichbare Sitemap, eine llms.txt-Datei, strukturierte Daten, eine kanonische URL, die auf sich selbst zeigt. Der Zugang (30 Punkte) ist, ob der Agent hineinkommt, wenn er da ist: Seiten, die einem einfachen HTTP-Client antworten, keine Ablehnung von KI-User-Agents, keine Bot-Challenge-Seite, echter Inhalt im rohen HTML statt einer leeren Hülle, die auf JavaScript wartet, eine saubere Weiterleitung auf HTTPS und ehrliche Statuscodes — ein echtes 404 für das, was es nicht gibt, denn ein Agent, der eine fehlende Seite nicht von einer echten unterscheiden kann, kann auch sonst nichts glauben, was die Website sagt.

Die Nutzbarkeit (40 Punkte) ist die größte Schicht, denn Ankommen ist nicht dasselbe wie Handeln. Sie fragt, ob die Website Maschinerie offenlegt, durch die ein Agent handeln kann: eine OpenAPI-Spezifikation auf den Pfaden, die Agenten suchen, Dokumentation, die eine Maschine finden kann, ein MCP-Endpunkt, der auf eine Protokoll-Probe antwortet, Auth-Discovery-Metadaten, wenn es eine API zum Einloggen gibt, und die bescheidenen Webformulare — Registrierung, Kontakt, Lead — ohne Challenge erreichbar und gut genug beschriftet, um sie korrekt auszufüllen. Die Zahlungen (10 Punkte) fragen, ob ein Agent zahlen könnte: eine Discovery-Datei für eines der neuen Agenten-Handelsprotokolle (ACP, UCP, AP2, x402) und ein Checkout, der dem Agenten keine Challenge ins Gesicht knallt. Zahlungen werden nur bewertet, wenn eine Website wirklich etwas verkauft; auf einer Website ohne Handels-Signale ist die ganze Schicht nicht anwendbar, und die Punktzahl wird ohne sie reskaliert.

Wie man eine Punktzahl liest

Die Punktzahl läuft von 0 bis 100, mit Buchstabennoten A ab 85, B ab 70, C ab 55, D ab 40 und F darunter — und 70, die B-Schwelle, ist die Stelle, an der die Konvention der Kategorie die Linie „agentenbereit“ zieht. Behandle die Zahl als Zusammenfassung, nicht als das Produkt. Das Produkt ist die Befundliste: jede Prüfung, die durchgefallen ist oder gewarnt hat, die dafür gesammelte Evidenz, ihre Bedeutung, die Behebung und die Punkte, die die Behebung zurückbringt. Die Reihenfolge „zuerst beheben“ ist einfach diese Liste, sortiert nach rückgewinnbaren Punkten, was fast nie die Reihenfolge ist, die eine generische Checkliste geben würde — eine fehlende llms.txt kann mehr wert sein als drei kosmetische Warnungen zusammen, und die Sortierung ist es, die dir das sagt.

Zwei Lese-Gewohnheiten halten die Zahl ehrlich. Erstens: Respektiere den Nicht-anwendbar-Mechanismus — Prüfungen und ganze Schichten fallen heraus, wenn ihre Vorbedingung fehlt, und die Punktzahl renormalisiert sich, sodass eine Doku-Website nicht an ihrem Checkout gemessen wird. Eine Punktzahl ist nur gegenüber den Schichten sinnvoll, die galten. Zweitens: Erinnere dich, was ein Urteil bedeutet — „nicht gefunden“ ist immer „nicht gefunden auf den Pfaden, die ein Agent versuchen würde, aus dem Netzwerk des Scanners, zur Scan-Zeit“. Agenten versuchen die konventionellen Pfade — das ist der Sinn der Übung —, aber ein Scan ist eine Stichprobe der maschinenorientierten Oberfläche, kein Audit von allem, was ein entschlossener Agent mit menschlicher Anleitung irgendwann entdecken könnte.

Die Fehler, die am meisten kosten, und ihre Behebungen

Dieselbe Handvoll Fehler erklärt die meisten verlorenen Punkte auf echten Websites. KI-Crawler standardmäßig blockiert: Eine robots.txt, kopiert aus einer Vorlage, oder ein CDN-Sicherheits-Preset lehnt GPTBot, ClaudeBot und Co. pauschal ab — manchmal das Gegenteil dessen, was der Betreiber beabsichtigt, denn dieselben Crawler füttern die Antwortmaschinen, in denen der Betreiber erscheinen will. Die Behebung ist eine bewusste Robots-Politik: Entscheide pro Crawler, schreibe es auf, halte die Sitemap erlaubt. Die leere Hülle: Die Startseite liefert ein JavaScript-Bündel und einen Spinner, und der eigentliche Inhalt wird nur clientseitig gerendert; Menschen bemerken es nie, Agenten sehen eine leere Seite. Rendere den Inhalt, der zählt, serverseitig oder vorab. Keine Maschinen-Karte: keine Sitemap, keine llms.txt, keine strukturierten Daten — jedes billig hinzuzufügen, jedes ein eigener Befund, bis du es tust.

Die zweite Handvoll handelt vom Handeln statt vom Lesen. Challenge-zuerst-Sicherheit: Eine Bot-Wand, die jeden unbekannten Client herausfordert, fordert auch jeden Agenten heraus; die Behebung ist, nach Verhalten und Risiko-Signalen herauszufordern statt nur nach Unbekanntheit, und die öffentliche, nur lesende Oberfläche erreichbar zu halten. Undokumentierte oder unauffindbare APIs: Die API existiert, aber es gibt keine OpenAPI-Spezifikation auf einem findbaren Pfad, also wird jede Agenten-Integration zu einem maßgeschneiderten Ratespiel; die Spezifikation zu veröffentlichen ist in den meisten Frameworks ein einmaliger Export. Formulare, die ein Agent nicht ausfüllen kann: unbeschriftete Felder, Hinweise nur im Platzhalter, und Absende-Abläufe, die für ein routinemäßiges Kontaktformular ein visuelles Rätsel verlangen. Keine dieser Behebungen verlangt, die menschliche Website neu zu entwerfen — die maschinenorientierte Schicht ist fast vollständig additiv, und genau deshalb liegen die Punkte auf der Straße.

Fallstudie: Diese Website, gescannt

Eine Offenlegung vor der Zahl. sysosx.com selbst kann mit dem öffentlichen Prüfer oben nicht gescannt werden: Wie jede sysosx-Prüfung lehnt der Endpunkt sysosx.com als blockiertes Ziel ab, absichtlich, damit das Werkzeug nicht auf die eigene Infrastruktur zeigen kann. Die Fallstudie unten wurde deshalb anders erzeugt — dieselbe Scan-Engine, mit denselben Prüfungen und derselben Bewertung, lokal gegen die Live-Website sysosx.com gefahren. Die Punktzahl ist echte Engine-Ausgabe, keine Schätzung; nur der Blickwinkel unterscheidet sich.

Wo die Punkte hingingen: die wichtigsten Befunde

Häufige Fragen