مختبر قواعد robots.txt
الصق ملف robots وقائمة مسارات لاختبار السماح والمنع وفق محرك قواعد معلن دون جلب الموقع.
افتح yoursite.com/robots.txt وانسخه كله والصقه هنا.
مسار في كل سطر، مثل /blog/post، أو عنوان كامل.
النتيجة
الصق ملف robots.txt والمسارات التي تريد اختبارها، وتظهر إجابة كل مسار هنا.
يُقرأ الملف كما تقرؤه Google: تُطبق مجموعة الزاحف الأدق، وتفوز أطول قاعدة مطابقة، وتفوز Allow عند التعادل، و* تطابق أي نص، و$ تعني نهاية العنوان. قد تختلف محركات البحث الأخرى قليلًا.
طريقة الاستخدام
- الصق قواعد robots.
- اكتب المسارات.
- اقرأ allow أو disallow لكل مسار.
أمثلة
- مجلد محظورDisallow: /private/ والمسار /private/a /private/a — محظور بالقاعدة Disallow: /private/
- Allow تفوز عند التعادلAllow: /a وDisallow: /a والمسار /a /a — مسموح
- نمط عامDisallow: /*.pdf$ والمسار /files/list.pdf /files/list.pdf — محظور
تفاصيل الأداة والخصوصية
الصق ملف robots.txt والمسارات أو العناوين التي تريد اختبارها، ويُعلَّم كل منها مسموحًا أو محظورًا مع القاعدة التي حسمته.
يمكن فحص ملف ملصوق. ليس فاحص Google الحي.
الخيارات
- اختر زاحفًا مثل Googlebot، وتُستخدم مجموعته إن وُجدت في الملف وإلا فمجموعة *.
- يدعم النمطين * و$، وتفوز أطول قاعدة مطابقة وتفوز Allow عند التعادل.
الحدود
- لا يُجلب الموقع.
- يتبع هذا قواعد Google، وقد تختلف الزواحف الأخرى قليلًا.
الخصوصية
ما تكتبه يبقى في متصفحك. لا يُرفع شيء ولا يُحفظ على الخادم.
أسئلة
هل يجلب هذا موقعي؟
لا.
أي قاعدة تفوز إن تطابقت قاعدتان؟
الأطول، وإن تساوتا فتفوز Allow.
هل يمكنني اختبار عنوان كامل؟
نعم، ويُستخدم مساره ومعلَماته فقط.
هل يُرفع الملف؟
لا.