مولّد robots.txt
ابنِ قواعد روبوتات البحث من نموذج مع شرح القاعدة ومعاينة الملف قبل التنزيل.
مسار في كل سطر يبدأ بـ /. المسار الذي ينتهي بـ / يشمل كل ما داخل المجلد.
النتيجة
يظهر ملف robots.txt هنا.
ارفع الملف إلى جذر موقعك ليفتح على example.com/robots.txt. ملف robots.txt طلب وليس قفلًا، ولا يخفي الصفحات الخاصة.
طريقة الاستخدام
- اختر كل شيء، أو كل شيء عدا بعض المسارات، أو لا شيء.
- أضف المسارات المحظورة بالأزرار السريعة أو بالكتابة، مع عنوان خريطة الموقع.
- نزّل robots.txt وارفعه إلى جذر موقعك.
أمثلة
- سماحالسماح بكل المسارات # Allow every path. User-agent: * Allow: /
- منع الكلمنع كل المسارات # Block every path. User-agent: * Disallow: /
- مسار واحدمنع /admin # Block one path. Other paths are not mentioned. User-agent: * Disallow: /admin
تفاصيل الأداة والخصوصية
اختر ما يُسمح لمحركات البحث بالزحف إليه، واذكر المسارات المحظورة، وأضف خريطة موقعك، ونزّل ملف robots.txt جاهزًا.
كل خيار يكتب تعليقًا يوضح عمل القاعدة، فيبقى الملف مفهومًا لاحقًا.
الخيارات
- كل مسار محظور يبدأ بـ /، ويمكن إضافة عدة مسارات، مسارًا في كل سطر.
- خيار يُبعد أشهر زواحف تدريب الذكاء الاصطناعي.
الحدود
- لا يُختبر الملف على موقع حي.
- ملف robots.txt طلب من الزواحف وليس قفلًا.
الخصوصية
ما تكتبه يبقى في متصفحك. لا يُرفع شيء ولا يُحفظ على الخادم.
أسئلة
هل تختبر الصفحة الملف على موقعي؟
لا. استخدم أداة اختبار robots.txt لذلك.
ماذا يكتب خيار لا شيء؟
Disallow: / لكل الزواحف.
هل يخفي الحظر الصفحة؟
لا. يمكن لأي أحد فتحها، وقد تظهر في البحث إن ربطتها مواقع أخرى.
هل يُرفع شيء أو يُحفظ على الخادم؟
لا. يبقى في متصفحك.