جوجل لن تدعم noindex و nofollow و Crawl-delay في ملف robots.txt

ابتداءً من شهر سبتمبر روبوت البحث جوجل بوت سيتجاهل اوامر noindex و nofollow

0 34

نٌشر خبر على مدونة جوجل لمشرفي المواقع ، أعلنت فيه جوجل وبشكل نهائي أنها لن تدعم الأوامر noindex , nofollow, crawl-delay بعد الآن في ملف robots.txt . وبذلك فأن روبوت البحث Googlebot سيتجاهل هذه الأوامر بعد الآن ولن ينفذها . أفادت جوجل أن هذا الأجراء سيتم تنفيذه بداية من أول شهر سبتمبر 2019.

وأضافت معلقة على ذلك القرار :

رأينا أن استخدام هذه الأوامر يتعارض مع أوامر أخرى في ملفات robots.txt للمواقع باستثناء نسبة تقدر بـ 0.001٪ فقط. هذه الأخطاء تؤثر على ظهور مواقع الويب في نتائج بحث Google بطرق لا نعتقد أن مشرفي المواقع يقصدونها.

وأكملت شركة جوجل عبر المقالة : من أجل الحفاظ على نظام بيئي صحي والإعداد لإصدارات مستقبلية مفتوحة المصدر محتملة ، فإننا نقرر عدم دعم جميع الأكواد التي تتعامل مع القواعد غير المدعومة وغير المنشورة (مثل noindex) ابتداءً من تاريخ 1 سبتمبر 2019.

بالنسبة لأصحاب المواقع الذين يعتمدون على أمر noindex في ملف robots.txt ، والذي يتحكم في الزحف بطبيعة الحال ، وهناك عدد من الحلول الأخرى التي يمكنكم استخدامها .

الحلول البديلة بعدما قررت جوجل بأنها لن تدعم noindex :

  • استخدام noindex في ميتا تاج meta tag
    هذه الطريقة تُعد أفضل وأقوى بديل لمنع زحف روبوت البحث لصفحة معينة ، فقط عليك باضافة كود الـ noindex داخل الـ header ، لمزيد من الشرح إنظر للمصادر أسفل الموضوع.
  • استخدام Disallow في ملف robots.txt

لا يزال بإمكانك استخدام الأمر disallow لمنع روبتات البحث من الدخول على صفحات معينة وذلك بكتابة الأمر :

					

Disallow: /رابط الصفحة يتم وضعه هنا/

  • حماية الصفحة التي لا تريد فهرستها بكلمة المرور

إذا كنت تستخدم وردبريس على سبيل المثال فهناك إضافات كثيره تُمكنك من وضع كلمات سر على بعض الصفحات لمنع دخول أي شخص ليس لديه تصريح الدخول ، وبطبيعة الحال هذا ينطبق أيضا على روبتات جوجل.

  • 404 و 410 رموز حالة HTTP

استخدام أعادة التحويل وتعريف ان الصفحة غير موجودة باستخدام خطأ 410 أو 404

  • حذف الرابط من صفحة مشرفي المواقع

يمكنك الدخول على هذه الأداة من هنا وطلب حذف الرابط من نتائج جوجل ، إذا كنت لا تريده أن يظهر في نتائج البحث عوضاً عن عمل noindex

مصدر استخدام ميتا تاج كيفية إضافة ميتا تاج مصدر الخبر
تعليقات
جاري التحميل ...

يستخدم هذا الموقع ملفات تعريف الارتباط لتحسين تجربتك. سنفترض أنك موافق على ذلك ، ولكن يمكنك إلغاء الاشتراك إذا كنت ترغب في ذلك. قبول قراءة المزيد