إعلان
التكنولوجياتطبيقات و شروحات

أفضل ملف Robots.txt لـ WordPress لتحسين زحف محركات البحث

تقني نت

أفضل ملف Robots.txt لـ WordPress لتحسين زحف محركات البحث

تقني نت – إذا كنت أحد أصحاب المواقع فإن أهم نقطة تطمح لها ان تكون مواضيع ومقالات موقعك ضمن محركات البحث في أسرع وقت ممكن ، وذلك بهدف جلب زوار لموقعك بالسرعة القصوى خصوصا ان كنت من مقدمي الاخبار والمحتوى الذي تريد بها تجلب زوار بصورة سرعة لقراءة الاخبار العاجلة.

تابعونا على تليجرام

في هذا المقال نقدم لكم كل ما يهمكم حول ملف robots.txt وكيفية انشاء robots.txt مثالي للسيو SEO.

حيث يوحه ملف Robots.txt محركات البحث عن كيفية الزحف إلى موقعك على الويب وخصوصا لمواقع ووردبريس WordPress ، مما يجعله أداة قوية لتحسين وصول محركات البحث له مثل محرك جوجل Google ، ومحرك بينج Bing وغيرها، وبالتالي سرعة فهرسة موقعك.

تعريف ما هو ملف robots.txt؟

Robots.txt هو ملف نصي يمكن مالكي مواقع الويب إنشاؤه لإخبار محركات البحث في كيفية الزحف إلى الصفحات على صفحاتها وفهرستها.

يتم تخزينها عادة في الدليل الجذر المعروف أيضًا باسم المجلد الرئيسي لموقعك على الويب، يبدو الشكل الأساسي لملف robots.txt على النحو التالي:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
 
Sitemap: [URL of your XML Sitemap]
HTML

يمكنك الحصول على عدة أسطر من التعليمات للسماح بعناوين URL محددة أو عدم السماح بها وإضافة ملفات Sitemap متعددة. إذا كنت لا تمنع عنوان URL ، تفترض محركات البحث في محرك البحث أن يُسمح لها بالزحف إليه.

في ما يلي مثال لملف نموذج robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: 
HTML

في مثال robots.txt أعلاه ، سمحت لمحركات البحث بالزحف إلى ملفات محتويات الموقع والتحميلات ، و لم تسمح للروبوتات بالزحف إلى الاضافات plugins ومجلدات المشرف الخاصة بموقعك وفهرستها.

أخيرًا ، لقد قدمنا عنوان URL الخاص بخريطة الموقع XML الخاصة بنا.

هل تحتاج إلى ملف Robots.txt لموقعك على ووردبريس؟

إذا لم يكن لديك ملف robots.txt ، فستستمر محركات البحث في الزحف إلى موقعك على الويب وفهرسته. ومع ذلك ، لن تتمكن من إخبار محركات البحث بالصفحات أو المجلدات التي لا يجب الزحف إليها.

لن يكون لهذا تأثير كبير عندما تبدأ لأول مرة في مدونة ولا تحتوي على الكثير من المحتوى.

ولكن مع نمو موقعك على الويب ولديك الكثير من المحتوى ، فمن المرجح أنك تريد التحكم بشكل أفضل في كيفية الزحف إلى موقعك على الويب وفهرسته ، وهو ما يتطلب منك توجيه روبوتات الزحف الوصول إلى عدد معين من الصفحات أثناء جلسة تتبع الارتباطات. إذا لم ينهوا الزحف إلى جميع الصفحات على موقعك ، فسيعودون ويستمرون في الزحف في الجلسة التالية.

افضل حل لتأخر فهرسة موقعك

يمكنك إصلاح هذا عن طريق منع برامج تتبع البحث من محاولة الزحف إلى الصفحات غير الضرورية مثل صفحات المسؤول في WordPress وملفات الاضافات plugins  وغيرها.

من خلال عدم السماح بالصفحات غير الضرورية ، يمكنك حفظ حصة الزحف، بحيث يساعد ذلك محركات البحث في الزحف إلى المزيد من الصفحات على موقعك وفهرستها في أسرع وقت ممكن.

هناك سبب آخر جيد لاستخدام ملف robots.txt عندما تريد إيقاف محركات البحث عن فهرسة منشور أو صفحة على موقعك الإلكتروني.

إنها ليست الطريقة الأكثر أمانًا لإخفاء المحتوى عن عامة الناس ، ولكنها ستساعدك على منعهم من الظهور في نتائج البحث.

محتويات ملف Robots.txt مثالي

العديد من المدونات الشائعة ملف robots.txt بسيط جدًا. قد يختلف محتواها ، وفقًا لاحتياجات الموقع المحدد:

User-agent: *
Disallow:
  
Sitemap: 
Sitemap: 
HTML

يتيح ملف robots.txt لجميع برامج الروبوت فهرسة جميع المحتويات ويوفر لهم رابطًا إلى ملفات sitemap على الويب الخاصة بموقع الويب.

لمواقع ووردبريس ، نوصي بالقواعد التالية في ملف robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: 
Sitemap: 
MathML

هذا يخبر روبوتات عناكب البحث فهرسة كل صور وملفات ووردبريس ، مع عدم السماح للروبوتات للزحف لفهرسة ملفات Plugins اضافات WordPress  ، وملفات إدارة WordPress  الخاصة بموقعك، وملفات ووردبريس التمهيدية ، والروابط التابعة.

كما ينصح بإضافة ملفات فهرس موقعك sitemap (خريطه الموقع ) ، الذي تريد الوصول اليها على حسب حاجتك وحاجة موقعك لها .

وسنقدم لاحقاً أفضل طرق لاضافة هذه الشيفرة على موقعك

الوسوم
شاهد أيضاً كل ما يهمك

Tekany Team

فريق موقع تقني نت هو فريق تدوين متخصص في مجال العملات الرقمية و التكنولوجيا ، الإقصاد العربي والعالمي ، و مهتم أيضاً بتغطية الأخبار المنوعة والشيقة التي تفيد المجتمع العربي. يعمل الفريق على تغطية أهم الاخبار والمحتوى الهادف و المفيد.
زر الذهاب إلى الأعلى
إغلاق
إغلاق