إنشاء ملف robots.txt للمبتدئين لتحسين السيو للموقع

المحتويات

ما هو ملف robots.txt

إنشاء ملف robots.txt مهم جداً جداً، بحيث يُخبر العناكب في محرك البحث بعدم الزحف إلى صفحات أو أقسام معينة في موقعك الإلكتروني، موقع الويب يجب أان يحتوي على ملف robots.txt لإعطاء إرشادات حول الموقع إلى روبوتات الويب؛ وهذا ما يسمى بروتوكول استبعاد الروبوتات .

ما هي مميزات إنشاء ملف robots.txt

العثور على جميع الصفحات المُهمة وفهرستها .
حجب المعلومات أو البيانات التي تحتوي على بيانات حساسة .
حجب الصفحات في جودة منخفضة لإنه يؤثّر على سرعة موقعك ويخفض من مستوى آدآءة .
حجب المحتوى المكرر للصفحات التي تحتوي على مقالات مكررة قد يُضر التصنيفات على موقعك .
زيادة ميزانية الزحف إلى الحد الأقصى إذا تواجد صعوبةٍ في فهرسّة مقالتك .
يساعد على ارشفه موقعك استناداً إلى أكواد الميتا تاج .

طريقة تركيب ملف robots.txt في أدوات مشرفي المواقع

قم بالذهاب إلى (Google Search Console) وأضف موقعك الإلكتروني .
إضغط الموقع الإلكتروني ومن ثُم إضغط على الزحف على يمين الشاشة .
إضغط على الخيار (اختبار الملف) .
سوف يظهر لك نافذةٍ ضَع فيها كود الملف ثم إضغط على إختبار .

طريقة تركيب ملف robots.txt في مدونات بلوجر

قم بالذهاب الى بلوجر .
أختار الإعدادات على يمين الشاشة .
إضغط على تفضيلات البحث ومن ثُمّ الذهاب إلى (‏ملف الروبوتات مخصص) .
قم بالضغط على تعديل في وضع الملف المخصص .

أفضل ملف robots.txt

قم بحذف علامة (#) في الملف وضع موقعك الإلكتروني الخاص بك لإنشاء ملف robots.txt .

إقرأ أيضا:عمل تطبيق لموقعك على الووردبريس والربح منه

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://#/sitemap.xml
Sitemap: https://#/feeds/posts/default?orderby=UPDATED
Sitemap: https://#/feeds/comments/default?redirect=false&start-index=1&max-results=500
Sitemap: https://#/feeds/comments/default?redirect=false&start-index=501&max-results=500
Sitemap: https://#/feeds/comments/default?redirect=false&start-index=1001&max-results=500
Sitemap: https://#/feeds/posts/default?orderby=updated