फ्री Robots.txt Generator
एक robots.txt जनरेटर वह फ़ाइल बनाता है जो क्रॉलर को बताती है कि वे आपकी वेबसाइट के किन हिस्सों को देख सकते हैं। यह फ्री जनरेटर सभी रोबोट के लिए डिफ़ॉल्ट सेट करता है, सर्च इंजन को अनुमति देता है या ब्लॉक करता है, GPTBot और ClaudeBot जैसे AI क्रॉलर और SEO बॉट को नियंत्रित करता है, ब्लॉक किए गए पाथ और आपका साइटमैप जोड़ता है, और आपको कॉपी करने के लिए तैयार robots.txt देता है।
Robots.txt Generator
Technical SEO
इस टूल के बारे में
एक क्रॉलर केवल सबसे विशिष्ट समूह का पालन करता है जो उसे नाम देता है। अगर आप Googlebot को अपना समूह देते हैं, तो यह "User-agent: *" समूह में सब कुछ अनदेखा करता है, जिसमें आपके ब्लॉक किए गए पाथ भी शामिल हैं। यह जनरेटर आपके लिए इसे संभालता है: कोई भी रोबोट जिसे आप Allow पर सेट करते हैं जबकि डिफ़ॉल्ट सब कुछ ब्लॉक करता है, उसे अपना समूह मिलता है और आपके ब्लॉक किए गए पाथ दोहराए जाते हैं, और रोबोट जो "डिफ़ॉल्ट के समान" पर छोड़े जाते हैं वे बस मुख्य समूह का पालन करते हैं।
Robots.txt क्रॉलिंग को नियंत्रित करता है, इंडेक्सिंग को नहीं। एक ब्लॉक किया गया पेज अभी भी सर्च परिणामों में दिख सकता है अगर अन्य साइटें इसे लिंक करती हैं, इसलिए एक पेज को बाहर रखने के लिए, इसे क्रॉल होने दें और इसके बजाय एक noindex टैग जोड़ें। एक AI क्रॉलर को ब्लॉक करना केवल इसके भविष्य के विज़िट को प्रभावित करता है। Google-Extended एक क्रॉलर के बजाय एक अनुमति टोकन है: इसे ब्लॉक करने से आपके पेज Gemini प्रशिक्षण और ग्राउंडिंग से बाहर रहते हैं बिना यह बदले कि Google Search आपको कैसे क्रॉल या रैंक करता है। Google Crawl-delay को अनदेखा करता है, जबकि Bing और कुछ अन्य क्रॉलर इसका सम्मान करते हैं।
महंगी गलती एक स्टेजिंग साइट से बचा हुआ "Disallow: /" है, जो चुपचाप एक पूरी लाइव साइट को ब्लॉक कर देता है। SEO SMO HUB हर क्लाइंट साइट पर सबसे पहले robots.txt की जांच करता है, और हम हर क्लाइंट के साथ AI क्रॉलर पर निर्णय लेते हैं: उन्हें ब्लॉक करना सामग्री की सुरक्षा करता है, जबकि उन्हें अनुमति देना ब्रांड को AI उत्तरों में उद्धृत होने के लिए योग्य रखता है। हमारा अपना robots.txt बिल्कुल इसी कारण से GPTBot, ClaudeBot और PerplexityBot का स्वागत करता है।
अक्सर पूछे जाने वाले सवाल
मैं robots.txt फ़ाइल कैसे बनाऊँ?
चुनें कि क्या सभी रोबोट डिफ़ॉल्ट रूप से क्रॉल कर सकते हैं, किसी भी सर्च इंजन, AI या SEO क्रॉलर को अनुमति दें या ब्लॉक करें, उन पाथ की सूची बनाएँ जिन्हें क्रॉलर से बाहर रखना है, जैसे /admin/ या /cart/, और अपना साइटमैप पता पेस्ट करें। जनरेट करें पर क्लिक करें, परिणाम को robots.txt नामक एक सादी टेक्स्ट फ़ाइल में कॉपी करें और इसे अपने डोमेन के रूट में अपलोड करें।
क्या मुझे GPTBot और ClaudeBot जैसे AI क्रॉलर को ब्लॉक करना चाहिए?
यह इस बात पर निर्भर करता है कि आप AI टूल से क्या चाहते हैं। प्रशिक्षण क्रॉलर को ब्लॉक करने से नई सामग्री उन कंपनियों के भविष्य के प्रशिक्षण से बाहर रहती है जो robots.txt का सम्मान करती हैं, लेकिन सहायक तेजी से उद्धरण के साथ उत्तर देते हैं, और PerplexityBot जैसे उत्तर-केंद्रित बॉट तय करते हैं कि आपके पेज को उद्धृत किया जा सकता है या नहीं। कई व्यवसाय प्रशिक्षण बॉट को ब्लॉक करते हैं और उत्तर बॉट को अनुमति देते हैं। प्रति बॉट निर्णय लें, सब एक साथ नहीं।
मैं robots.txt फ़ाइल कहाँ अपलोड करूँ?
आउटपुट को robots.txt नामक एक सादी टेक्स्ट फ़ाइल के रूप में सहेजें और इसे अपने डोमेन के रूट में अपलोड करें, ताकि यह https://yourdomain.com/robots.txt पर खुले। यह केवल उस सटीक होस्ट और प्रोटोकॉल पर लागू होता है, इसलिए shop.yourdomain.com जैसे सबडोमेन को अपनी अपनी फ़ाइल की आवश्यकता है। अपलोड करने के बाद, पता को ब्राउज़र में खोलकर पुष्टि करें कि यह लोड होता है।
क्या robots.txt में एक पेज को ब्लॉक करने से यह Google से हटा दिया जाता है?
नहीं। Robots.txt क्रॉलिंग को रोकता है, इंडेक्सिंग को नहीं। अगर अन्य पेज एक ब्लॉक किए गए URL को लिंक करते हैं, तो Google अभी भी इसे सूचीबद्ध कर सकता है, आमतौर पर विवरण के बिना। एक पेज को हटाने के लिए, क्रॉलिंग की अनुमति दें और एक noindex रोबोट टैग जोड़ें, या इसे पासवर्ड से सुरक्षित करें। एक बार जब यह इंडेक्स से बाहर हो जाए, तो आप चाहें तो इसे फिर से ब्लॉक कर सकते हैं।
एक WordPress robots.txt में क्या होना चाहिए?
अधिकांश WordPress साइटों के लिए: डिफ़ॉल्ट रूप से सब कुछ अनुमति दें, /wp-admin/admin-ajax.php की अनुमति देते हुए /wp-admin/ को अक्षम करें, और अपना साइटमैप सूचीबद्ध करें, जो WordPress /wp-sitemap.xml पर परोसता है या आपका SEO प्लगइन /sitemap_index.xml पर परोसता है। /wp-content/ या /wp-includes/ को ब्लॉक न करें, क्योंकि Google को आपके पेज को रेंडर करने के लिए वहाँ CSS और JavaScript की आवश्यकता है।