Robots.txt Tester
यह निःशुल्क robots.txt टेस्टर किसी साइट का लाइव robots.txt डाउनलोड करता है, Google के मिलान नियमों को लागू करता है और आपको बताता है कि आपके द्वारा चुना गया क्रॉलर (Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot और अन्य) दिए गए URL को प्राप्त कर सकता है या नहीं, कौन सा नियम इसे तय करता है, कौन सा user-agent समूह लागू होता है, और फ़ाइल कौन से sitemaps सूचीबद्ध करती है। फ़ाइल समीक्षा के लिए दिखाई जाती है।
Robots.txt Tester
Technical SEO
इस टूल के बारे में
robots.txt में एक गलत पंक्ति पूरी साइट को Google से छिपा सकती है, और यह स्वीकार करने से अधिक बार होता है: स्टेजिंग से बचा हुआ Disallow: /, एक नियम जो एक फ़ोल्डर के लिए है लेकिन सौ से मेल खाता है, या CSS और JavaScript पर एक ब्लॉक जो Google को पृष्ठों को रेंडर करने से रोकता है। यह फ़ाइल अब यह भी तय करती है कि कौन से AI क्रॉलर आपकी सामग्री को पढ़ सकते हैं, इसलिए यह एक त्वरित नज़र के बजाय उचित परीक्षण के योग्य है।
टेस्टर डोमेन की रूट में robots.txt प्राप्त करता है, इसे उसी तरह पार्स करता है जैसे Google करता है (user-agent द्वारा समूह, क्रॉलर का अपना समूह * समूह को जीतता है, सबसे लंबा मिलान नियम जीतता है, Allow एक टाई जीतता है, * और $ वाइल्डकार्ड हैं) और आपके द्वारा चुने गए क्रॉलर के लिए पथ का मूल्यांकन करता है। यह निर्णायक नियम का नाम देता है, दिखाता है कि कौन सा समूह उपयोग किया गया था, प्रत्येक Sitemap पंक्ति सूचीबद्ध करता है और फ़ाइल को प्रिंट करता है ताकि आप नियमों को संदर्भ में पढ़ सकें।
Robots.txt क्रॉलिंग को नियंत्रित करता है, इंडेक्सिंग को नहीं: एक अवरुद्ध पृष्ठ अभी भी परिणामों में दिखाई दे सकता है यदि अन्य साइटें इसे लिंक करती हैं, और एक पृष्ठ जिसे आप हटाना चाहते हैं उसे noindex टैग या हटाने के अनुरोध की आवश्यकता है। Google के अलावा अन्य क्रॉलर वाइल्डकार्ड की व्याख्या अलग तरीके से कर सकते हैं, और फ़ाइल में नियम केवल उस होस्ट पर लागू होते हैं जहाँ से इसे प्राप्त किया गया था, इसलिए www और non-www प्रत्येक को अपने स्वयं के की आवश्यकता है।
अक्सर पूछे जाने वाले सवाल
क्या robots.txt में किसी पृष्ठ को अवरुद्ध करने से वह Google से हटा दिया जाता है?
नहीं। Robots.txt Google को पृष्ठ प्राप्त करने से रोकता है, लेकिन यदि अन्य पृष्ठ इसे लिंक करते हैं तो Google अभी भी URL को विवरण के बिना सूचीबद्ध कर सकता है। किसी पृष्ठ को परिणामों से बाहर रखने के लिए, Google को इसे क्रॉल करने दें और noindex मेटा टैग या हेडर जोड़ें, या Search Console में हटाने के उपकरण का उपयोग करें।
मैं GPTBot या ClaudeBot जैसे AI क्रॉलर को कैसे अवरुद्ध करूँ?
प्रत्येक के लिए एक समूह जोड़ें: User-agent: GPTBot के बाद Disallow: /, और ClaudeBot, CCBot या Google-Extended के लिए भी ऐसा ही करें। प्रत्येक क्रॉलर का अपना टोकन और अपना समूह है। याद रखें कि AI क्रॉलर को अवरुद्ध करने से आपकी सामग्री AI खोज उत्तरों से भी बाहर रहती है, इसलिए सब कुछ अवरुद्ध करने से पहले तय करें कि आप क्या चाहते हैं।
जब Allow और Disallow दोनों मेल खाते हैं तो कौन सा नियम जीतता है?
Google सबसे विशिष्ट नियम का उपयोग करता है, जिसका अर्थ है सबसे लंबा मिलान पथ। यदि दोनों समान लंबाई के हैं, तो Allow जीतता है। तो Disallow: /blog/ के साथ Allow: /blog/guide गाइड पृष्ठ को अनुमति देता है। वाइल्डकार्ड अपनी शाब्दिक लंबाई से गिने जाते हैं, इसलिए * वाला नियम लंबे सादे पथ से हार सकता है।
Google मेरी Crawl-delay पंक्ति को क्यों अनदेखा करता है?
Google Crawl-delay का समर्थन नहीं करता और कभी नहीं किया है; यह अपनी स्वयं की क्रॉल दर निर्धारित करता है, जिसे आप Search Console में कम कर सकते हैं। Bing और Yandex इसका सम्मान करते हैं। टेस्टर केवल Allow, Disallow और Sitemap पंक्तियों की रिपोर्ट करता है क्योंकि वे वही हैं जो Google पढ़ता है।
मेरा robots.txt 404 लौटाता है। क्या यह समस्या है?
अपने आप में नहीं: एक लापता robots.txt का मतलब है कि सब कुछ क्रॉल किया जा सकता है। एक robots.txt जो सर्वर त्रुटि (5xx) लौटाता है वह बदतर है, क्योंकि Google जब तक यह ठीक न हो जाए तब तक साइट को क्रॉल करना बंद कर सकता है। यदि आपके पास अवरुद्ध करने के लिए कुछ नहीं है, तो User-agent: * और एक खाली Disallow के साथ एक छोटी फ़ाइल परोसें, साथ ही आपकी sitemap पंक्ति भी।