منشئ Robots.txt مجاني
منشئ robots.txt ينشئ الملف الذي يخبر الزحافات بأي أجزاء من موقعك يمكنها زيارتها. ينشئ هذا المنشئ المجاني إعداداً افتراضياً لجميع الروبوتات، ويسمح أو يحظر محركات البحث وزحافات الذكاء الاصطناعي مثل GPTBot و ClaudeBot وبوتات SEO، ويضيف المسارات المحظورة والخريطة الموقع، ويعطيك ملف robots.txt نهائي لنسخه.
Robots.txt Generator
Technical SEO
عن هذه الأداة
الزاحفة تطيع فقط المجموعة الأكثر تحديداً التي تسميها. إذا أعطيت Googlebot مجموعتها الخاصة، فإنها تتجاهل كل شيء في مجموعة "User-agent: *"، بما في ذلك المسارات المحظورة. ينظم هذا المنشئ ذلك من أجلك: أي روبوت تضبطه على السماح بينما يحظر الإعداد الافتراضي كل شيء يحصل على مجموعته الخاصة مع تكرار المسارات المحظورة، والروبوتات المتروكة على "نفس الإعداد الافتراضي" تتبع ببساطة المجموعة الرئيسية.
يتحكم Robots.txt في الزحف وليس الفهرسة. يمكن لصفحة محظورة أن تظهر في نتائج البحث إذا كانت هناك مواقع أخرى تربط إليها، لذا لإبقاء الصفحة بعيداً، اسمح بزحفها وأضف علامة noindex بدلاً من ذلك. حظر زاحفة الذكاء الاصطناعي يؤثر فقط على زياراتها المستقبلية. Google-Extended هو رمز إذن وليس زاحفة: حظره يبقي صفحاتك خارج تدريب Gemini والتأسيس دون تغيير كيفية زحف Google Search أو ترتيبك. Google يتجاهل Crawl-delay، بينما Bing وبعض الزحافات الأخرى تحترمه.
الخطأ المكلف هو "Disallow: /" المتبقي من موقع تجريبي، والذي يحظر بهدوء موقعاً مباشراً بالكامل. SEO SMO HUB يفحص robots.txt على كل موقع عميل قبل أي شيء آخر، ونقرر بشأن زحافات الذكاء الاصطناعي مع كل عميل: حظرها يحمي المحتوى، بينما السماح بها يبقي العلامة التجارية مؤهلة للاستشهاد بها في إجابات الذكاء الاصطناعي. ملف robots.txt الخاص بنا يرحب بـ GPTBot و ClaudeBot و PerplexityBot لهذا السبب بالضبط.
الأسئلة الشائعة
كيف أنشئ ملف robots.txt؟
اختر ما إذا كان يمكن لجميع الروبوتات الزحف بشكل افتراضي، اضبط أي محرك بحث أو زاحفة ذكاء اصطناعي أو SEO على السماح أو الحظر، اسرد المسارات التي تريد إبقاء الزحافات بعيداً عنها، مثل /admin/ أو /cart/، والصق عنوان خريطة الموقع. انقر على إنشاء، انسخ النتيجة إلى ملف نص عادي باسم robots.txt وحمّله إلى جذر نطاقك.
هل يجب أن أحظر زحافات الذكاء الاصطناعي مثل GPTBot و ClaudeBot؟
يعتمد على ما تريده من أدوات الذكاء الاصطناعي. حظر زحافات التدريب يبقي المحتوى الجديد خارج التدريب المستقبلي من قبل الشركات التي تحترم robots.txt، لكن المساعدات تجيب بشكل متزايد مع الاستشهادات، وبوتات موجهة للإجابة مثل PerplexityBot تقرر ما إذا كان يمكن الاستشهاد بصفحاتك. تحظر العديد من الشركات بوتات التدريب وتسمح ببوتات الإجابة. قرر لكل بوت، وليس الكل في المرة الواحدة.
أين أحمّل ملف robots.txt؟
احفظ الناتج كملف نص عادي باسم robots.txt وحمّله إلى جذر نطاقك، بحيث يفتح على https://yourdomain.com/robots.txt. ينطبق فقط على هذا المضيف والبروتوكول بالضبط، لذا فإن نطاقاً فرعياً مثل shop.yourdomain.com يحتاج إلى ملفه الخاص. بعد التحميل، افتح العنوان في متصفح للتأكد من تحميله.
هل حظر صفحة في robots.txt يزيلها من Google؟
لا. يوقف Robots.txt الزحف وليس الفهرسة. إذا كانت هناك صفحات أخرى تربط إلى عنوان URL محظور، يمكن لـ Google أن تدرجه بعد ذلك، عادة بدون وصف. لإزالة صفحة، اسمح بالزحف وأضف علامة robots noindex، أو احمِها بكلمة مرور. بمجرد أن تسقط من الفهرس، يمكنك حظرها مرة أخرى إذا أردت.
ماذا يجب أن يحتوي robots.txt في WordPress؟
لمعظم مواقع WordPress: السماح بكل شيء بشكل افتراضي، حظر /wp-admin/ مع السماح بـ /wp-admin/admin-ajax.php، وسرد خريطة الموقع، التي يخدمها WordPress على /wp-sitemap.xml أو يخدمها مكون SEO الخاص بك على /sitemap_index.xml. لا تحظر /wp-content/ أو /wp-includes/، لأن Google تحتاج إلى CSS و JavaScript هناك لتصيير صفحاتك.