يعرف معظم المدونين المخضرمين بالتأكيد ما هو ملف robots.txt ولماذا تحتاج إلى هذا الملف. لكن القليل من المؤلفين يسارعون على الفور لإنشاء ملف robots.txt بعد تثبيت مدونة على WordPress.
Robots.txt هو ملف نصي يتم تحميله إلى الدليل الجذر لموقعك ويحتوي على إرشادات لبرامج الزحف. الغرض الرئيسي من استخدامه هو حظر فهرسة الصفحات والأقسام الفردية على الموقع. ومع ذلك ، باستخدام ملف robots.txt ، يمكنك أيضًا تحديد مرآة المجال الصحيحة ووصف المسار إلى ملف Sitemap وما شابه.
لقد تعلمت معظم محركات البحث الحديثة التنقل في نظام إدارة المحتوى الشهير جيدًا وعادةً لا تحاول فهرسة المحتوى غير المخصص لذلك. على سبيل المثال ، لن تقوم Google بفهرسة منطقة إدارة مدونة WordPress الخاصة بك حتى إذا لم تحددها مباشرة في ملف robots.txt. ومع ذلك ، في بعض الحالات ، يمكن أن يظل استخدام الحظر المباشر مفيدًا. ونحن نتحدث في المقام الأول عن حظر المحتوى المكرر.
يذهب بعض مشرفي المواقع إلى حد حظر فهرسة صفحات الفئات والعلامات ، لأن محتواهم يكرر جزئيًا محتوى الصفحة الرئيسية. لكن معظمها يقتصر على حظر صفحات التتبع والتغذية ، والتي تكرر محتوى المقالة تمامًا وليست مخصصة لمحركات البحث على الإطلاق. لن يؤدي هذا الإجراء الوقائي إلى جعل نتائج الموقع "أكثر نظافة" فحسب ، بل سيوفر عليك أيضًا من عوامل تصفية البحث المحتملة ، خاصة بعد إدخال خوارزمية Google Panda الجديدة.
فيما يلي التوجيهات الموصى بها لملف robots.txt (ستعمل مع أي مدونة WordPress تقريبًا):
وكيل المستخدم: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-include Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / theme Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
يرجى ملاحظة أنه في ملف robots.txt ، يتم إغلاق المجلدات الإدارية wp-admin و wp-include بالكامل للفهرسة. يتم إغلاق مجلد wp-content جزئيًا فقط ، لأنه يحتوي على دليل التحميلات ، والذي يحتوي على جميع الصور من مدونتك التي يجب فهرستها.
كل ما عليك فعله هو نسخ التوجيهات من الكود أعلاه (لاحظ أنه يجب كتابة كل توجيه في سطر جديد) ، وحفظها في ملف نصي يسمى robots.txt ، وتحميلها إلى الدليل الجذر لموقعك.
يمكنك دائمًا التحقق مما إذا كان ملف robots.txt يعمل بشكل صحيح من خلال أدوات مشرفي المواقع من Google وواجهات مشرفي المواقع من Yandex.
