Robots.txt Tester
هذا الاختبار المجاني لملف robots.txt يحمّل ملف robots.txt المباشر للموقع، ويطبق قواعد مطابقة Google، ويخبرك ما إذا كان الزاحف الذي تختاره (Googlebot أو Bingbot أو GPTBot أو ClaudeBot أو PerplexityBot وغيرها) قد يجلب عنوان URL معين، وأي قاعدة تحدده، وأي مجموعة user-agent تنطبق، وأي خرائط مواقع يسردها الملف. يتم عرض الملف نفسه للمراجعة.
Robots.txt Tester
Technical SEO
عن هذه الأداة
سطر واحد خاطئ في robots.txt يمكن أن يخفي موقعًا كاملاً عن Google، وهذا يحدث أكثر مما يعترف به أحد: Disallow: / متبقية من مرحلة الاختبار، أو قاعدة مقصودة لمجلد واحد تطابق مئات، أو حظر على CSS و JavaScript يوقف عرض Google للصفحات. الآن يحدد الملف نفسه أي زاحفات ذكاء اصطناعي قد تقرأ محتواك، لذا يستحق اختبارًا صحيحًا بدلاً من نظرة سريعة.
يجلب الاختبار ملف robots.txt من جذر النطاق، ويحلله بالطريقة التي تفعلها Google (تجميع حسب user-agent، مجموعة الزاحف الخاصة به تفوز على مجموعة *، أطول قاعدة مطابقة تفوز، Allow تفوز في التعادل، * و $ هي أحرف بدل) ويقيّم المسار الذي تعطيه للزاحف الذي تختاره. يسمي القاعدة الحاسمة، ويظهر المجموعة المستخدمة، ويسرد كل سطر Sitemap ويطبع الملف حتى تتمكن من قراءة القواعد في السياق.
يتحكم Robots.txt في الزحف، وليس الفهرسة: قد تظهر الصفحة المحظورة في النتائج إذا ربطت بها مواقع أخرى، والصفحة التي تريد إزالتها تحتاج إلى علامة noindex أو طلب إزالة بدلاً من ذلك. قد تفسر الزاحفات الأخرى غير Google أحرف البدل بشكل مختلف، والقواعس في الملف تنطبق فقط على المضيف الذي تم جلبها منه، لذا يحتاج كل من www وغير www إلى ملفهما الخاص.
الأسئلة الشائعة
هل يؤدي حظر صفحة في robots.txt إلى إزالتها من Google؟
لا. يوقف Robots.txt Google من جلب الصفحة، لكن إذا ربطت بها صفحات أخرى قد تسرد Google عنوان URL بدون وصف. لإبقاء الصفحة خارج النتائج، اسمح لـ Google بالزحف إليها وأضف علامة meta noindex أو رأس، أو استخدم أداة الإزالة في Search Console.
كيف أحظر زاحفات الذكاء الاصطناعي مثل GPTBot أو ClaudeBot؟
أضف مجموعة لكل واحدة: User-agent: GPTBot متبوعة بـ Disallow: /، وكذلك بالنسبة لـ ClaudeBot أو CCBot أو Google-Extended. لكل زاحف رمز خاص به ومجموعة خاصة به. تذكر أن حظر زاحفات الذكاء الاصطناعي يبقي محتواك أيضًا خارج إجابات البحث بالذكاء الاصطناعي، لذا قرر ما تريده قبل حظر كل شيء.
أي قاعدة تفوز عندما تطابق Allow و Disallow كليهما؟
تستخدم Google القاعدة الأكثر تحديدًا، أي أطول مسار مطابق. إذا كان كلاهما بنفس الطول، فإن Allow تفوز. لذا Disallow: /blog/ مع Allow: /blog/guide يسمح بصفحة الدليل. تحسب أحرف البدل حسب طولها الحرفي، لذا قد تخسر قاعدة بـ * أمام مسار عادي أطول.
لماذا تتجاهل Google سطر Crawl-delay الخاص بي؟
لا تدعم Google Crawl-delay وأبدًا لم تدعمها؛ فهي تحدد معدل الزحف الخاص بها، والذي يمكنك خفضه في Search Console. تحترمه Bing و Yandex. يبلغ الاختبار فقط عن سطور Allow و Disallow و Sitemap لأن تلك هي ما تقرأه Google.
ملف robots.txt الخاص بي يعيد 404. هل هذه مشكلة؟
ليس بحد ذاته: ملف robots.txt المفقود يعني أن كل شيء قد يتم الزحف إليه. ملف robots.txt الذي يعيد خطأ خادم (5xx) أسوأ، لأن Google قد توقف الزحف إلى الموقع حتى يتعافى. إذا لم يكن لديك شيء لحظره، فقدم ملفًا صغيرًا بـ User-agent: * و Disallow فارغة، بالإضافة إلى سطر sitemap الخاص بك.