المحتويات
ما هو ملف robots.txt
إنشاء ملف robots.txt مهم جداً جداً، بحيث يُخبر العناكب في محرك البحث بعدم الزحف إلى صفحات أو أقسام معينة في موقعك الإلكتروني، موقع الويب يجب أان يحتوي على ملف robots.txt لإعطاء إرشادات حول الموقع إلى روبوتات الويب؛ وهذا ما يسمى بروتوكول استبعاد الروبوتات .
ما هي مميزات إنشاء ملف robots.txt
- العثور على جميع الصفحات المُهمة وفهرستها .
- حجب المعلومات أو البيانات التي تحتوي على بيانات حساسة .
- حجب الصفحات في جودة منخفضة لإنه يؤثّر على سرعة موقعك ويخفض من مستوى آدآءة .
- حجب المحتوى المكرر للصفحات التي تحتوي على مقالات مكررة قد يُضر التصنيفات على موقعك .
- زيادة ميزانية الزحف إلى الحد الأقصى إذا تواجد صعوبةٍ في فهرسّة مقالتك .
- يساعد على ارشفه موقعك استناداً إلى أكواد الميتا تاج .
طريقة تركيب ملف robots.txt في أدوات مشرفي المواقع
- قم بالذهاب إلى (Google Search Console) وأضف موقعك الإلكتروني .
- إضغط الموقع الإلكتروني ومن ثُم إضغط على الزحف على يمين الشاشة .
- إضغط على الخيار (اختبار الملف) .
- سوف يظهر لك نافذةٍ ضَع فيها كود الملف ثم إضغط على إختبار .
طريقة تركيب ملف robots.txt في مدونات بلوجر
- قم بالذهاب الى بلوجر .
- أختار الإعدادات على يمين الشاشة .
- إضغط على تفضيلات البحث ومن ثُمّ الذهاب إلى (ملف الروبوتات مخصص) .
- قم بالضغط على تعديل في وضع الملف المخصص .
أفضل ملف robots.txt
قم بحذف علامة (#) في الملف وضع موقعك الإلكتروني الخاص بك لإنشاء ملف robots.txt .
إقرأ أيضا:أفضل مواقع ترجمة بديل ترجمة جوجلUser-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://#/sitemap.xml
Sitemap: https://#/feeds/posts/default?orderby=UPDATED
Sitemap: https://#/feeds/comments/default?redirect=false&start-index=1&max-results=500
Sitemap: https://#/feeds/comments/default?redirect=false&start-index=501&max-results=500
Sitemap: https://#/feeds/comments/default?redirect=false&start-index=1001&max-results=500
Sitemap: https://#/feeds/posts/default?orderby=updated
