Can AI agents use your website?
वेब के अधिक से अधिक आगंतुक अब ब्राउज़र में नहीं आते। AI एजेंट — किसी व्यक्ति की ओर से काम करने वाला सॉफ़्टवेयर — पेज और फ़ाइलें सीधे लाते हैं, साइट जो मशीनों के सामने उजागर करती है उसे पढ़ते हैं, और कोई कार्य पूरा करने की कोशिश करते हैं: आपके दस्तावेज़ों से किसी प्रश्न का उत्तर देना, अपॉइंटमेंट बुक करना, उत्पाद ख़रीदना। वे सफल होते हैं या नहीं, यह आपकी साइट की एक विशेषता है, और वह मापने योग्य है। यह गाइड समझाती है कि एजेंट तत्परता क्या है, इस साइट का एजेंट तत्परता चेकर किन चार परतों को स्कोर करता है, वह आपको जो संख्या देता है उसे कैसे पढ़ें, और वही स्कैन जब ख़ुद sysosx.com पर चलाया गया तो उसने क्या पाया।
एक नए तरह का आगंतुक
तीस वर्षों तक किसी वेबसाइट के पास ठीक एक ही तरह का आगंतुक था जो मायने रखता था: एक इंसान, ब्राउज़र में, रेंडर किए गए पेज देखते हुए। आधुनिक वेब की हर चीज़ — JavaScript बंडल, कुकी बैनर, दृश्य बॉट चुनौतियाँ — उसी आगंतुक के लिए बनाई गई थी। AI एजेंट उस धारणा को तोड़ देते हैं। किसी उपयोगकर्ता के लिए काम करने वाला एजेंट आमतौर पर JavaScript चलाए बिना कच्चा HTML लाता है, GPTBot या ClaudeBot जैसे उपयोगकर्ता एजेंट से ईमानदारी से अपनी पहचान बताता है, साइट जो मशीन-मुखी फ़ाइलें प्रकाशित करती है (robots.txt, साइटमैप, llms.txt, OpenAPI विनिर्देश) उन्हें पढ़ता है, और कुछ ही बार लाने के अंदर तय कर लेता है कि इस साइट को समझा और इस्तेमाल किया भी जा सकता है या नहीं। जो साइटें इस परीक्षा में विफल होती हैं उन्हें ज़ोर से सज़ा नहीं मिलती; एजेंट बस कहीं और चला जाता है, और वह यात्रा आपके पास मौजूद किसी भी एनालिटिक्स डैशबोर्ड में कभी नहीं दिखती।
यह अभी मायने रखता है, कभी बाद में नहीं, क्योंकि एजेंट एक असली चैनल बनते जा रहे हैं: ख़रीद पर शोध करने वाले सहायक, बुक करने और ख़रीदने वाले एजेंट, ग्राहकों को जवाब देने के लिए आपके दस्तावेज़ पढ़ने वाले सहायता एजेंट, वे क्रॉलर जो उन अनुक्रमणिकाओं को बनाते हैं जिनसे ये प्रणालियाँ उत्तर देती हैं। उनमें से हर एक आपकी साइट को मशीन-पठनीयता पर अंक देता है, और अधिकांश साइटें कभी इस तरह पढ़े जाने के लिए डिज़ाइन ही नहीं हुईं। यह अंतर शायद ही कभी दुर्भावना या लापरवाही होता है — यह बस इतना है कि मशीन-मुखी सतह (क्रॉल नियम, कच्चा HTML, API वर्णन) संयोग से बढ़ती गई जबकि मानव-मुखी सतह को सारा डिज़ाइन ध्यान मिला। एजेंट तत्परता उसी अंतर को जानबूझकर बंद करने का अनुशासन है।
एजेंट तत्परता की चार परतें
चेकर चार परतों को उसी क्रम में स्कोर करता है जिसमें कोई एजेंट उन्हें अनुभव करता है। खोज (20 अंक) यह है कि क्या एजेंट साइट का नक्शा खोज सकता है: एक पार्स-योग्य robots.txt और वह प्रमुख AI क्रॉलरों से क्या कहता है, एक पहुँच योग्य साइटमैप, एक llms.txt फ़ाइल, संरचित डेटा, एक कैनोनिकल URL जो ख़ुद की ओर इशारा करता है। पहुँच (30 अंक) यह है कि पहुँचने के बाद क्या एजेंट अंदर जा सकता है: साधारण HTTP क्लाइंट को जवाब देने वाले पेज, AI उपयोगकर्ता एजेंटों का कोई इनकार नहीं, कोई बॉट-चुनौती अंतराली पेज नहीं, JavaScript की प्रतीक्षा करते खाली खोल के बजाय कच्चे HTML में असली सामग्री, HTTPS पर साफ़ रीडायरेक्ट, और ईमानदार स्टेटस कोड — जो मौजूद नहीं है उसके लिए असली 404, क्योंकि जो एजेंट गायब पेज को असली पेज से अलग नहीं बता सकता, वह साइट की कही किसी और बात पर भरोसा नहीं कर सकता।
उपयोगिता (40 अंक) सबसे बड़ी परत है, क्योंकि पहुँचना लेन-देन करना नहीं है। यह पूछती है कि क्या साइट ऐसी मशीनरी उजागर करती है जिसके ज़रिए कोई एजेंट कार्य कर सके: उन पथों पर OpenAPI विनिर्देश जिन्हें एजेंट खोजते हैं, दस्तावेज़ जो कोई मशीन खोज सके, प्रोटोकॉल प्रोब का जवाब देने वाला MCP एंडपॉइंट, जब लॉग इन करने के लिए API हो तो प्रमाणीकरण खोज मेटाडेटा, और विनम्र वेब फ़ॉर्म — साइनअप, संपर्क, लीड — बिना चुनौती के पहुँच योग्य और इतनी अच्छी तरह लेबल किए गए कि सही ढंग से भरे जा सकें। भुगतान (10 अंक) पूछता है कि क्या कोई एजेंट भुगतान कर सकता है: उभरते एजेंट-वाणिज्य प्रोटोकॉल (ACP, UCP, AP2, x402) में से किसी एक के लिए खोज फ़ाइल, और एक चेकआउट जो एजेंट के मुँह पर चुनौती नहीं पटकता। भुगतान का स्कोर तभी होता है जब कोई साइट सचमुच कुछ बेचती है; वाणिज्य संकेतों के बिना किसी साइट पर पूरी परत लागू नहीं होती और स्कोर उसके बिना फिर से मापा जाता है।
स्कोर को कैसे पढ़ें
स्कोर 0 से 100 तक चलता है, अक्षर ग्रेड 85 से A, 70 से B, 55 से C, 40 से D और उससे नीचे F के साथ — और 70, B की दहलीज़, वह जगह है जहाँ श्रेणी की परिपाटी “एजेंट-तैयार” रेखा खींचती है। संख्या को उत्पाद नहीं, सारांश मानें। उत्पाद खोजों की सूची है: हर वह जाँच जो विफल हुई या जिसने चेतावनी दी, उसके लिए जुटाया गया साक्ष्य, उसका अर्थ, समाधान, और वे अंक जो समाधान वापस दिलाता है। “पहले ठीक करें” क्रम बस उसी सूची को वापस पाने योग्य अंकों के क्रम में लगाना है, जो लगभग कभी वह क्रम नहीं होता जो कोई सामान्य चेकलिस्ट देगी — एक गायब llms.txt तीन सजावटी चेतावनियों के योग से ज़्यादा मूल्यवान हो सकता है, और छँटाई ही आपको यह बताती है।
पढ़ने की दो आदतें संख्या को ईमानदार रखती हैं। पहली, लागू-नहीं तंत्र का सम्मान करें: जाँचें और पूरी परतें तब बाहर हो जाती हैं जब उनकी पूर्व-शर्त अनुपस्थित होती है, और स्कोर फिर से सामान्यीकृत हो जाता है, ताकि किसी दस्तावेज़ साइट को उसके चेकआउट पर अंक न मिलें। स्कोर केवल उन परतों के सामने अर्थ रखता है जो लागू हुईं। दूसरी, याद रखें कि फ़ैसले का अर्थ क्या है: “नहीं मिला” हमेशा यह है — “उन पथों पर नहीं मिला जिन्हें कोई एजेंट आज़माएगा, स्कैनर के नेटवर्क से, स्कैन के समय पर”। एजेंट पारंपरिक पथ आज़माते हैं — यही इस अभ्यास का मुद्दा है — लेकिन एक स्कैन मशीन-मुखी सतह का एक नमूना है, हर उस चीज़ का ऑडिट नहीं जो कोई दृढ़ एजेंट इंसानी मार्गदर्शन के साथ आख़िरकार खोज सकता है।
सबसे महँगी विफलताएँ, और उनके समाधान
वही मुट्ठी भर विफलताएँ असली साइटों पर खोए गए अधिकांश अंकों की वजह हैं। डिफ़ॉल्ट रूप से अवरुद्ध AI क्रॉलर: किसी टेम्पलेट से कॉपी किया गया robots.txt, या किसी CDN की सुरक्षा प्रीसेट, GPTBot, ClaudeBot और साथियों को साफ़ मना कर देती है — कभी-कभी मालिक के इरादे के बिल्कुल उलट, क्योंकि वही क्रॉलर उन उत्तर इंजनों को खिलाते हैं जिनमें मालिक दिखना चाहता है। समाधान एक जानबूझकर बनाई गई robots नीति है: प्रति क्रॉलर तय करें, उसे लिख लें, साइटमैप को अनुमति में रखें। खाली खोल: होमपेज एक JavaScript बंडल और एक स्पिनर लौटाता है, असली सामग्री केवल क्लाइंट की ओर रेंडर होती है; इंसान कभी ध्यान नहीं देते, एजेंटों को खाली पेज दिखता है। जो सामग्री मायने रखती है उसे सर्वर की ओर रेंडर करें या पहले से रेंडर करें। मशीनों के लिए कोई नक्शा नहीं: कोई साइटमैप नहीं, कोई llms.txt नहीं, कोई संरचित डेटा नहीं — हर एक जोड़ना सस्ता है, हर एक तब तक एक अलग खोज है जब तक आप उसे जोड़ नहीं देते।
दूसरी मुट्ठी पढ़ने के बजाय कार्य करने के बारे में है। चुनौती-पहले सुरक्षा: हर अपरिचित क्लाइंट को चुनौती देने वाली बॉट दीवार हर एजेंट को भी चुनौती देती है; समाधान यह है कि केवल अपरिचितता के बजाय व्यवहार और जोखिम संकेतों पर चुनौती दें, और सार्वजनिक, केवल-पढ़ने वाली सतह को पहुँच योग्य रखें। अप्रलेखित या खोजे न जा सकने वाले API: API मौजूद है, लेकिन खोजे जा सकने वाले पथ पर कोई OpenAPI विनिर्देश नहीं है, इसलिए हर एजेंट एकीकरण एक ख़ास अनुमान-खेल बन जाता है; विनिर्देश प्रकाशित करना अधिकांश फ़्रेमवर्क में एक बार का निर्यात है। वे फ़ॉर्म जो एजेंट नहीं भर सकता: बिना लेबल वाले फ़ील्ड, केवल प्लेसहोल्डर वाले संकेत, और सबमिट प्रवाह जिन्हें किसी नियमित संपर्क फ़ॉर्म के लिए दृश्य पहेली सुलझानी पड़ती है। इनमें से किसी भी समाधान के लिए मानव साइट को फिर से डिज़ाइन करने की ज़रूरत नहीं है — मशीन-मुखी परत लगभग पूरी तरह योगात्मक है, और ठीक इसीलिए अंक वहाँ लेने के लिए पड़े हैं।
केस स्टडी: यह साइट, स्कैन की गई
संख्या से पहले एक खुलासा। ख़ुद sysosx.com को ऊपर के सार्वजनिक चेकर से स्कैन नहीं किया जा सकता: हर sysosx जाँच की तरह, एंडपॉइंट डिज़ाइन के अनुसार sysosx.com को अवरुद्ध लक्ष्य के रूप में मना कर देता है, ताकि टूल को उसके अपने बुनियादी ढाँचे की ओर न मोड़ा जा सके। इसलिए नीचे की केस स्टडी अलग ढंग से बनाई गई — वही स्कैन इंजन, उन्हीं जाँचों और स्कोरिंग के साथ, लाइव sysosx.com साइट के विरुद्ध स्थानीय रूप से चलाया गया। स्कोर इंजन का असली आउटपुट है, अनुमान नहीं; केवल दृष्टिकोण अलग है।
| खोज | 20 / 20 |
| पहुँच | 30 / 30 |
| उपयोगिता | 26.5 / 40 |
| भुगतान | इस साइट पर लागू नहीं — स्कोर से बाहर रखा गया। |
अंक कहाँ गए: शीर्ष खोजें
| खोज | स्थिति | ठीक करने पर अंक |
|---|---|---|
| MCP endpoint answers initialize | विफल | 6.2 |
| OAuth discovery metadata is published | विफल | 3.1 |
| Idempotency-Key support is documented | विफल | 2.1 |
| Form fields are labelled | चेतावनी | 1.6 |
| Async (202) operations are documented | विफल | 1 |
अक्सर पूछे जाने वाले प्रश्न
क्या एजेंट तत्परता बस नए नाम वाला SEO है?
वे खोज पर एक-दूसरे को काटते हैं — साइटमैप, कैनोनिकल URL, क्रॉल नियम दोनों के लिए मायने रखते हैं — और उसके बाद अलग हो जाते हैं। SEO किसी इंसान के लिए खोजे जाने और रैंक किए जाने के बारे में है जो फिर ब्राउज़र का उपयोग करेगा। एजेंट तत्परता उस क्लिक के बाद भी जारी रहती है जो कभी होता ही नहीं: क्या आगंतुक कच्चा पेज पढ़ सकता है, API खोज सकता है, प्रमाणित हो सकता है, फ़ॉर्म सबमिट कर सकता है, भुगतान कर सकता है? कोई साइट पहले स्थान पर रैंक होकर भी यहाँ ख़राब स्कोर कर सकती है, क्योंकि रैंकिंग ने कभी यह नहीं माँगा कि साइट सॉफ़्टवेयर द्वारा संचालित की जा सके।
क्या मुझे AI क्रॉलरों को अंदर आने ही देना चाहिए?
यह एक असली नीतिगत चुनाव है, और चेकर चुनाव को नहीं, तंत्र को स्कोर करता है: नामित क्रॉलर को जानबूझकर मना करने वाला robots.txt एक स्पष्ट संकेत है जिसका कोई एजेंट सम्मान कर सकता है, जबकि दुर्घटनावश — कॉपी किए गए टेम्पलेट, विरासत में मिली CDN प्रीसेट से — सब कुछ अवरुद्ध करने वाला साइट को स्पष्टता पर, और आमतौर पर मालिक के अपने लक्ष्यों पर भी, विफल कर देता है। तत्परता स्कोर जिस बात को पुरस्कृत करता है वह है इरादे को पठनीय बनाना: नामित क्रॉलर, जानबूझकर दी गई अनुमति या इनकार, और उन एजेंटों के लिए खोज फ़ाइलें पहुँच योग्य रखना जिन्हें आप सचमुच चाहते हैं।
मेरी साइट के पास कोई API नहीं है और वह कुछ बेचती भी नहीं। क्या ऊँचा स्कोर संभव है?
हाँ, डिज़ाइन के अनुसार। वाणिज्य संकेतों के बिना भुगतान पूरी तरह बाहर हो जाता है, API संकेतों के बिना API-विशिष्ट जाँचें बाहर हो जाती हैं, और बची हुई परतें 100 तक फिर से सामान्यीकृत हो जाती हैं। कोई सामग्री साइट अपना स्कोर खोज, पहुँच और जो उसके पास सचमुच है उसकी उपयोगिता पर कमाती है — पठनीय कच्चा HTML, खोजी जा सकने वाली संरचना, काम करते फ़ॉर्म। स्कोरिंग जानबूझकर इस तरह बनाई गई है कि “लागू नहीं” का अर्थ कभी “अंक खोए” न हो।