أفضل ملف Robots.txt لـ WordPress لتحسين زحف محركات البحث
تقني نت
أفضل ملف Robots.txt لـ WordPress لتحسين زحف محركات البحث
تقني نت – إذا كنت أحد أصحاب المواقع فإن أهم نقطة تطمح لها أن تكون مواضيعك ومقالات موقعك ضمن محركات البحث في أسرع وقت ممكن، وذلك بهدف جلب زوار لموقعك بالسرعة القصوى خصوصا ان كنت من مقدمي الاخبار والمحتوى الذي تريد بها تجلب زوار بصورة سرعة لقراءة الاخبار العاجلة.
في هذا المقال نقدم لكم كل ما يهمكم حول ملف robots.txt وكيفية انشاء robots.txt مثالي للسيو SEO.
حيث يوحه ملف Robots.txt محركات البحث عن كيفية الزحف إلى موقعك على الويب وخصوصا لمواقع ووردبريس WordPress ، مما يجعله أداة قوية لتحسين وصول محركات البحث له مثل محرك جوجل Google ، ومحرك بينج Bing وغيرها، وبالتالي سرعة فهرسة موقعك.
تعريف ما هو ملف robots.txt؟
Robots.txt هو ملف نصي يمكن مالكي مواقع الويب إنشاؤه لإخبار محركات البحث في كيفية الزحف إلى الصفحات على صفحاتها وفهرستها.
يتم تخزينها عادة في الدليل الجذر المعروف أيضًا باسم المجلد الرئيسي لموقعك على الويب، يبدو الشكل الأساسي لملف robots.txt على النحو التالي:
يمكنك الحصول على عدة أسطر من التعليمات للسماح بعناوين URL محددة أو عدم السماح بها وإضافة ملفات Sitemap متعددة. إذا كنت لا تمنع عنوان URL ، تفترض محركات البحث في محرك البحث أن يُسمح لها بالزحف إليه.
في ما يلي مثال لملف نموذج robots.txt:
في مثال robots.txt أعلاه ، سمحت لمحركات البحث بالزحف إلى ملفات محتويات الموقع والتحميلات ، و لم تسمح للروبوتات بالزحف إلى الاضافات plugins ومجلدات المشرف الخاصة بموقعك وفهرستها.
أخيرًا ، لقد قدمنا عنوان URL الخاص بخريطة الموقع XML الخاصة بنا.
هل تحتاج إلى ملف Robots.txt لموقعك على ووردبريس؟
إذا لم يكن لديك ملف robots.txt ، فستستمر محركات البحث في الزحف إلى موقعك على الويب وفهرسته. ومع ذلك ، لن تتمكن من إخبار محركات البحث بالصفحات أو المجلدات التي لا يجب الزحف إليها.
لن يكون لهذا تأثير كبير عندما تبدأ لأول مرة في مدونة ولا تحتوي على الكثير من المحتوى.
ولكن مع نمو موقعك على الويب ولديك الكثير من المحتوى ، فمن المرجح أنك تريد التحكم بشكل أفضل في كيفية الزحف إلى موقعك على الويب وفهرسته .
هذا الأمر يتطلب منك توجيه روبوتات الزحف الوصول إلى عدد معين من الصفحات أثناء جلسة تتبع الارتباطات. إذا لم ينهوا الزحف إلى جميع الصفحات على موقعك، فسيعودون ويستمرون في الزحف في الجلسة التالية.
افضل حل لتأخر فهرسة موقعك
يمكنك إصلاح هذا عن طريق منع برامج تتبع البحث من محاولة الزحف إلى الصفحات غير الضرورية مثل صفحات المسؤول في WordPress وملفات الاضافات plugins وغيرها.
من خلال عدم السماح بالصفحات غير الضرورية ، يمكنك حفظ حصة الزحف، بحيث يساعد ذلك محركات البحث في الزحف إلى المزيد من الصفحات على موقعك وفهرستها في أسرع وقت ممكن.
هناك سبب آخر جيد لاستخدام ملف robots.txt عندما تريد إيقاف محركات البحث عن فهرسة منشور أو صفحة على موقعك الإلكتروني.
إنها ليست الطريقة الأكثر أمانًا لإخفاء المحتوى عن عامة الناس ، ولكنها ستساعدك على منعهم من الظهور في نتائج البحث.
محتويات ملف Robots.txt مثالي
العديد من المدونات الشائعة ملف robots.txt بسيط جدًا. قد يختلف محتواها ، وفقًا لاحتياجات الموقع المحدد:
يتيح ملف robots.txt لجميع برامج الروبوت فهرسة جميع المحتويات ويوفر لهم رابطًا إلى ملفات sitemap على الويب الخاصة بموقع الويب.
لمواقع ووردبريس ، نوصي بالقواعد التالية في ملف robots.txt:
هذا يخبر روبوتات عناكب البحث فهرسة كل صور وملفات ووردبريس ، مع عدم السماح للروبوتات للزحف لفهرسة ملفات Plugins اضافات WordPress ، وملفات إدارة WordPress الخاصة بموقعك، وملفات ووردبريس التمهيدية ، والروابط التابعة.
كما ينصح بإضافة ملفات فهرس موقعك sitemap (خريطه الموقع ) ، الذي تريد الوصول إليها على حسب حاجتك وحاجة موقعك لها .
المقال المذكور أعلاه كان بعنوان : أفضل ملف Robots.txt لـ WordPress لتحسين زحف محركات البحث ، نتمنى أن نكون قد قدمنا كل ما هو مفيد لكم.
كما سنعمل لاحقاً لتقديم أفضل طرق اضافة شيفرة Robot.txt على موقعك
