اداة اختبار Robots.txt
مختبر وفاحص ملف Robots.txt
تحقق من صحة توجيهات ملفك وتأكد من أن عناكب البحث تصل إلى المحتوى الصحيح في موقعك.
ما هو ملف Robots.txt ولماذا يعد حجر الأساس في السيو التقني؟
ملف Robots.txt هو ملف نصي بسيط يوضع في المجلد الرئيسي لموقعك، وظيفته الأساسية هي إعطاء تعليمات واضحة لزواحف محركات البحث (مثل Googlebot) حول الصفحات التي يُسمح لها بالدخول إليها والصفحات المحظورة.
أهمية فحص ملف Robots.txt بانتظام:
- توفير ميزانية الزحف (Crawl Budget): منع العناكب من ضياع وقتها في صفحات غير هامة مثل لوحة التحكم أو ملفات النظام.
- حماية الخصوصية: منع ظهور الروابط الحساسة أو المؤقتة في نتائج بحث جوجل.
- تجنب أخطاء الفهرسة: التأكد من أنك لم تقم بحظر ملفات CSS أو JS عن طريق الخطأ، مما قد يفسد ظهور موقعك لجوجل.
كيف تعمل هذه الأداة؟
تقوم هذه الأداة بمحاكاة سلوك زواحف البحث. عند إدخال محتوى الملف وتحديد مسار معين، يقوم الكود البرمجي بتحليل قاعدة Disallow و Allow ومقارنتها بالرابط المطلوب، ليعطيك نتيجة فورية ما إذا كان الرابط متاحاً للأرشفة أم لا.
الأسئلة الشائعة حول ملفات الروبوت
يجب أن يكون دائماً في المسار الجذر (Root) لموقعك، مثلاً: yoursite.com/robots.txt.
النجمة تعني أن هذه التعليمات موجهة لجميع أنواع عناكب البحث دون استثناء.
لا، هو مجرد توجيه "أخلاقي" لمحركات البحث. إذا أردت حماية حقيقية، يجب استخدام كلمة مرور على مستوى الخادم.