يعد ملف robots.txt أحد أدوات إدارة فهرسة المواقع بواسطة محركات البحث. يتم استخدامه بشكل أساسي لمنع كل أو بعض برامج الروبوت فقط من تنزيل محتوى مجموعات صفحات معينة. يتيح لك ذلك التخلص من "القمامة" في نتائج محرك البحث ، وفي بعض الحالات ، تحسين ترتيب المورد بشكل كبير. من المهم أن يكون لديك ملف robots.txt الصحيح للتطبيق الناجح.
ضروري
محرر النص
تعليمات
الخطوة 1
قم بإعداد قائمة بالروبوتات التي سيتم تعيين قواعد استثناء خاصة لها أو توجيهات لمعيار robots.txt الموسع ، بالإضافة إلى التوجيهات غير القياسية والمحددة (امتدادات محرك بحث معين). أدخل في هذه القائمة قيم حقول User-Agent لرؤوس طلبات HTTP المرسلة بواسطة الروبوتات المحددة إلى خادم الموقع. يمكن أيضًا العثور على أسماء الروبوتات في الأقسام المرجعية لمواقع محركات البحث.
الخطوة 2
حدد مجموعات عناوين URL لموارد الموقع التي يجب رفض الوصول إليها لكل روبوت في القائمة التي تم تجميعها في الخطوة الأولى. نفذ نفس العملية لجميع الروبوتات الأخرى (مجموعة غير محددة من روبوتات الفهرسة). بمعنى آخر ، يجب أن تكون النتيجة عدة قوائم تحتوي على روابط لأقسام الموقع أو مجموعات من الصفحات أو مصادر محتوى وسائط محظور فهرستها. يجب أن تتوافق كل قائمة مع روبوت مختلف. يجب أن تكون هناك أيضًا قائمة بعناوين URL المحظورة لجميع برامج الروبوت الأخرى. قم بعمل قوائم بناءً على مقارنة البنية المنطقية للموقع مع الموقع الفعلي للبيانات على الخادم ، وكذلك عن طريق تجميع عناوين URL للصفحات وفقًا لـ خصائصها الوظيفية. على سبيل المثال ، يمكنك تضمين في قوائم الرفض محتويات أي كتالوجات خدمة (مجمعة حسب الموقع) أو جميع صفحات ملف تعريف المستخدم (مجمعة حسب الغرض).
الخطوه 3
حدد علامات URL لكل من الموارد الموجودة في القوائم التي تم تجميعها في الخطوة الثانية. عند معالجة قوائم استبعاد برامج الروبوت باستخدام توجيهات robots.txt القياسية وروبوتات غير محددة فقط ، قم بتمييز أجزاء عناوين URL الفريدة للحد الأقصى للطول. بالنسبة لمجموعات العناوين المتبقية ، يمكنك إنشاء قوالب وفقًا لمواصفات محركات البحث المحددة.
الخطوة 4
قم بإنشاء ملف robots.txt. أضف مجموعات من التوجيهات إليه ، كل منها يتوافق مع مجموعة من القواعد المحظورة لروبوت معين ، والتي تم تجميع قائمة بها في الخطوة الأولى. يجب أن يتبع الأخير مجموعة من التوجيهات لجميع الروبوتات الأخرى. مجموعات قواعد منفصلة بسطر واحد فارغ. يجب أن تبدأ كل مجموعة قواعد بتوجيه User-agent يحدد الروبوت ، متبوعًا بتوجيه Disallow ، والذي يحظر فهرسة مجموعات عناوين URL. اجعل الأسطر التي تم الحصول عليها في الخطوة الثالثة بقيم توجيهات Disallow. افصل بين التوجيهات ومعانيها بعلامة النقطتين. ضع في اعتبارك المثال التالي: User-agent: YandexDisallow: / temp / data / images / User-agent: * Disallow: / temp / data / هذه المجموعة من التوجيهات ترشد الروبوت الرئيسي لـ لا يقوم محرك بحث Yandex بفهرسة عنوان URL الذي يحتوي على السلسلة الفرعية / temp / data / images /. كما أنه يمنع جميع الروبوتات الأخرى من فهرسة عناوين URL التي تحتوي على / temp / data /.
الخطوة الخامسة
قم بتكميل ملف robots.txt بتوجيهات قياسية موسعة أو توجيهات معينة لمحرك البحث. ومن أمثلة هذه التوجيهات: المضيف ، وخريطة الموقع ، وسعر الطلب ، ووقت الزيارة ، وتأخير الزحف.
