جوجل على أخطاء Noindex الوهمية في Search Console

أجاب جون مولر من Google مؤخرًا على سؤال حول أخطاء noindex الوهمية التي تم الإبلاغ عنها في Google Search Console. وأكد مولر أن هذه التقارير قد تكون حقيقية.

Noindex في Google Search Console

يعد توجيه noindex robots أحد الأوامر القليلة التي يجب على Google الالتزام بها، وإحدى الطرق القليلة التي يمكن لمالك الموقع من خلالها ممارسة التحكم في Googlebot، مفهرس Google.

ومع ذلك، ليس من غير المألوف تمامًا أن تبلغ وحدة التحكم في البحث عن عدم القدرة على فهرسة صفحة بسبب توجيه noindex الذي يبدو أنه لا يحتوي على توجيه noindex عليه، على الأقل لا يوجد أي توجيه مرئي في كود HTML.

عندما تُبلغ Google Search Console (GSC) بأن عنوان URL المُرسل تم وضع علامة ‘noindex’ عليه، فإنها تُبلغ عن موقف يبدو متناقضًا:

• طلب الموقع من Google فهرسة الصفحة عبر إدخال في ملف Sitemap.
• أرسلت الصفحة إلى Google إشارة بعدم فهرستها (عبر توجيه noindex).

إنها رسالة مربكة من Search Console مفادها أن الصفحة تمنع Google من فهرستها عندما لا يكون هذا أمرًا يمكن للناشر أو مُحسّنات محرّكات البحث ملاحظة حدوثه على مستوى الكود.

الشخص الذي يطرح السؤال المنشور على Bluesky:

“على مدى الأشهر الأربعة الماضية، واجه موقع الويب خطأ noindex (في العلامة الوصفية ‘robots’) والذي يرفض الاختفاء من Search Console. لا يوجد noindex في أي مكان على موقع الويب ولا ملف robots.txt. لقد بحثنا بالفعل في هذا… ما الذي يمكن أن يسبب هذا الخطأ؟”

يظهر Noindex فقط لـ Google

أجاب جون مولر من Google على السؤال، موضحًا أنه كان هناك دائمًا مؤشر noindex يظهر لـ Google على الصفحات التي فحصها حيث كان يحدث هذا النوع من الأشياء.

رد مولر:

“الحالات التي رأيتها في الماضي كانت حيث كان هناك بالفعل علامة noindex، وفي بعض الأحيان لم يتم عرضها إلا لـ Google (والتي لا يزال من الصعب جدًا تصحيح أخطائها). ومع ذلك، لا تتردد في مراسلتي ببعض أمثلة عناوين URL.”

على الرغم من أن مولر لم يوضح بالتفصيل ما يمكن أن يحدث، إلا أن هناك طرقًا لاستكشاف هذه المشكلة وإصلاحها لمعرفة ما يحدث.

كيفية استكشاف أخطاء Phantom Noindex وإصلاحها

من الممكن أن يكون هناك رمز في مكان ما يتسبب في ظهور علامة noindex لـ Google فقط. على سبيل المثال، ربما حدث أن صفحة ما تحتوي في وقت ما على علامة noindex عليها وأن ذاكرة التخزين المؤقت من جانب الخادم (مثل مكون إضافي للتخزين المؤقت) أو شبكة CDN (مثل Cloudflare) قامت بتخزين رؤوس HTTP مؤقتًا منذ ذلك الوقت، مما يؤدي بدوره إلى ظهور رأس noindex القديم لـ Googlebot (لأنه يزور الموقع بشكل متكرر) أثناء تقديم إصدار جديد لمالك الموقع.

يعد التحقق من رأس HTTP أمرًا سهلاً، فهناك العديد من أدوات فحص رأس HTTP مثل هذا الموجود على KeyCDN أو هذا الموجود على SecurityHeaders.com.

رمز استجابة رأس الخادم 520 هو رمز يتم إرساله بواسطة Cloudflare عندما يقوم بحظر وكيل مستخدم.

لقطة الشاشة: رمز استجابة Cloudflare 520

فيما يلي لقطة شاشة لرمز استجابة الخادم 200 الذي تم إنشاؤه بواسطة cloudflare:

لقطة الشاشة: رمز استجابة الخادم 200

لقد تحققت من نفس عنوان URL باستخدام مدققي رأس مختلفين، حيث قام مدقق رأس واحد بإرجاع رمز استجابة الخادم aa 520 (محظور) بينما يرسل مدقق الرأس الآخر رمز استجابة 200 (موافق). يوضح ذلك مدى اختلاف استجابة Cloudflare لشيء مثل مدقق الرأس. من الناحية المثالية، حاول التحقق من خلال العديد من أدوات فحص الرؤوس لمعرفة ما إذا كانت هناك استجابة 520 متسقة من Cloudflare.

في الحالة التي تعرض فيها صفحة الويب شيئًا حصريًا لـ Google والذي لا يكون مرئيًا لأي شخص ينظر إلى الرمز، فإن ما عليك فعله هو جعل Google ينظر إلى الصفحة نيابةً عنك باستخدام زاحف Google الفعلي ومن عنوان IP الخاص بـ Google. طريقة القيام بذلك هي عن طريق إسقاط عنوان URL في اختبار النتائج الغنية من Google. سترسل Google زاحفًا من عنوان IP الخاص بـ Google وإذا كان هناك شيء ما على الخادم (أو شبكة CDN) يعرض علامة noindex، فسيقوم هذا بالقبض عليه. بالإضافة إلى البيانات المنظمة، سيوفر اختبار النتائج المنسّقة أيضًا استجابة HTTP ولقطة من صفحة الويب توضح بالضبط ما يعرضه الخادم لـ Google.

عند تشغيل عنوان URL من خلال اختبار النتائج الغنية من Google، فإن الطلب:

• ينشأ من مراكز بيانات Google: يستخدم الروبوت عنوان IP الفعلي لـ Google.
• اجتياز اختبارات DNS العكسية: إذا قام الخادم أو المكون الإضافي للأمان أو CDN بالتحقق من عنوان IP، فسيتم حله مرة أخرى إلى googlebot.com أو google.com.

إذا تم حظر الصفحة بواسطة noindex، فلن تتمكن الأداة من تقديم أي نتائج بيانات منظمة. يجب أن توفر حالة تقول “الصفحة غير مؤهلة” أو “فشل الزحف”. إذا رأيت ذلك، فانقر على رابط “عرض التفاصيل” أو قم بتوسيع قسم الخطأ. يجب أن يُظهر شيئًا مثل “العلامة الوصفية للروبوتات: noindex” أو “noindex” التي تم اكتشافها في العلامة الوصفية لـ “الروبوتات”.

لا يرسل هذا الأسلوب وكيل مستخدم GoogleBot، بل يستخدم سلسلة وكيل مستخدم Google-InspectionTool/1.0. وهذا يعني أنه إذا كانت كتلة الخادم عن طريق عنوان IP، فإن هذه الطريقة ستلتقطها.

هناك زاوية أخرى يجب التحقق منها وهي الحالة التي تتم فيها كتابة علامة noindex المحتالة خصيصًا لحظر GoogleBot، ولا يزال بإمكانك انتحال (تقليد) سلسلة وكيل مستخدم GoogleBot باستخدام ملحق User Agent Switcher الخاص بـ Google لمتصفح Chrome أو تكوين تطبيق مثل Screaming Frog لتعيين نفسه مع وكيل مستخدم GoogleBot والذي يجب أن يلتقطه.

لقطة الشاشة: أداة تبديل وكيل مستخدم Chrome

أخطاء Noindex الوهمية في Search Console

يمكن أن تشعر بصعوبة تشخيص هذه الأنواع من الأخطاء، ولكن قبل أن ترفع يديك في الهواء، خذ بعض الوقت لمعرفة ما إذا كانت أي من الخطوات الموضحة هنا ستساعد في تحديد السبب الخفي المسؤول عن هذه المشكلة.

صورة مميزة بواسطة Shutterstock / إنتاج AYO