404 الزحف يعني أن Google مفتوح لمزيد من المحتوى الخاص بك

أجاب جون مولر من Google على سؤال حول Search Console والإبلاغ عن الأخطاء 404، مما يشير إلى أن الزحف المتكرر للصفحات التي تحتوي على رمز الحالة 404 يعد إشارة إيجابية.

404 رمز الحالة

لقد أدى رمز الحالة 404، والذي يشار إليه غالبًا على أنه رمز خطأ، إلى إرباك العديد من مالكي المواقع ومُحسني محركات البحث منذ فترة طويلة لأن كلمة “خطأ” تشير إلى وجود شيء معطل ويجب إصلاحه. ولكن هذا ليس هو الحال.

404 هو ببساطة رمز الحالة الذي يرسله الخادم استجابة لطلب المتصفح لصفحة ما. 404 هي رسالة تفيد بأنه لم يتم العثور على الصفحة المطلوبة. الخطأ الوحيد هو الطلب نفسه لأن الصفحة غير موجودة.

على الرغم من أنه يشار إليه عادة باسم خطأ 404، إلا أن الاسم الرسمي من الناحية الفنية هو 404 لم يتم العثور عليه. يعكس هذا الاسم بدقة معنى رمز الحالة 404: لم يتم العثور على الصفحة المطلوبة.

لقطة شاشة لمعيار الويب الرسمي لرمز الحالة 4o4

يستمر Google في الزحف إلى 404 صفحة

نشر أحد الأشخاص على Reddit أن Google Search Console يواصل الإبلاغ عن استمرار العثور على الصفحات التي لم تعد موجودة عبر بيانات خريطة الموقع، على الرغم من أن خريطة الموقع لم تعد تدرج الصفحات المفقودة.

يدعي الشخص أن Search Console يقوم بالزحف إلى الصفحات المفقودة، ولكن Googlebot هو في الحقيقة من يقوم بالزحف إليها؛ تقوم Search Console فقط بالإبلاغ عن عمليات الزحف الفاشلة.

إنهم قلقون بشأن إهدار ميزانية الزحف ويريدون معرفة ما إذا كان يجب عليهم إرسال رمز الاستجابة 410 بدلاً من ذلك.

كتبوا:

“لا تزال Google Search Console تزحف إلى مجموعة من الصفحات غير الموجودة التي تعرض الرقم 404. وفي أداة فحص الصفحة وإحصائيات الزحف، تشير الرسالة إلى أنه تم “اكتشافها عبر” صفحتي-sitemap.xml.

المشكلة:

عندما أفتح ملف page-sitemap.xml الفعلي في المتصفح الآن، لا يوجد فيه أي من عناوين URL البالغ عددها 404.

تحتوي خريطة الموقع على 21 صفحة جيدة ومباشرة فقط.

…لا أريد حذف خريطة الموقع أو التوقف عن إرسالها لأنها نظيفة وتشير فقط إلى الصفحات الجيدة. لكن عمليات الزحف المتكررة هذه تهدر ميزانية الزحف.

وقد واجه أي شخص هذا من قبل؟

هل تتوقف جوجل في نهاية المطاف من تلقاء نفسها؟

هل يجب أن أقوم بتبديل 404s إلى 410 Gone؟

أم أن هناك طريقة أخرى لإخبار GSC “مرحبًا، لقد اختفت هذه الأشياء إلى الأبد”؟”

حول عمليات الزحف إلى صفحة Google البالغ عددها 404 صفحة

لدى Google ممارسة طويلة الأمد تتمثل في الزحف إلى 404 صفحة فقط في حالة إزالة هذه الصفحات عن طريق الصدفة وتم استعادتها. وكما سترون بعد قليل، يشير جون مولر من Google بقوة إلى أن الزحف المتكرر إلى صفحة 404 يشير إلى أن أنظمة Google قد تنظر إلى المحتوى في ضوء إيجابي.

حوالي 404 صفحة لم يتم العثور على الاستجابة

التعريف القياسي الرسمي للويب لرمز الحالة 404 هو أنه لم يتم العثور على المورد المطلوب، وهذا كل شيء، لا أكثر. لا تشير هذه الاستجابة إلى أن الصفحة لن تعود أبدًا. هذا يعني ببساطة أنه لم يتم العثور على الصفحة المطلوبة.

حوالي 410 ذهب الاستجابة

معيار الويب الرسمي لرمز الحالة 410 هو أن الصفحة قد اختفت وأن حالة الاختفاء من المحتمل أن تكون دائمة. الغرض من الرد هو إيصال أن الموارد قد اختفت عمدًا وأنه يجب إزالة أي روابط لتلك الموارد.

جوجل تتعامل بشكل أساسي مع 404 و410 بنفس الطريقة

من الناحية الفنية، إذا اختفت صفحة ويب نهائيًا ولم تعود أبدًا، فإن 410 هي رسالة الخادم الصحيحة التي يجب إرسالها استجابةً لطلبات الصفحة المفقودة. ومن الناحية العملية، تتعامل Google مع الاستجابة 410 تقريبًا بنفس الطريقة التي تتعامل بها مع استجابة الخادم 404. على غرار الطريقة التي تتعامل بها مع استجابات 404، قد تستمر برامج زحف Google في العودة للتحقق مما إذا كانت صفحة الاستجابة 410 قد اختفت.

لقد قال موظفو Google باستمرار أن استجابة الخادم 410 أسرع قليلاً في إزالة الصفحة من فهرس Google.

جوجل تؤكد حقائق حول رموز الاستجابة 404 و410

رد مولر من Google بإجابة قصيرة ولكن مليئة بالمعلومات أوضحت أن تقارير 404 التي تم الإبلاغ عنها في Search Console ليست مشكلة تحتاج إلى إصلاح، وأن إرسال استجابة 410 لن يحدث فرقًا في تقارير Search Console 404، وأنه يمكن رؤية وفرة عناوين URL في هذا التقرير في ضوء إيجابي.

رد مولر:

“هذه لا تسبب مشاكل، لذا سأسمح لها بذلك. من المحتمل أن يتم إعادة الزحف إليها لفترة طويلة، ولن يغير الرقم 410 ذلك. وبطريقة ما، يعني هذا أن Google سيكون موافقًا على التقاط المزيد من المحتوى من موقعك.”

سوء الفهم حول استجابات خادم 4XX

استمرت المناقشة على رديت. اقترح مشرف r/SEO subreddit أن السبب وراء تقارير Search Console عن اكتشافها لعنوان URL في خريطة الموقع هو أن هذا هو المكان الذي اكتشف فيه Googlebot عنوان URL في الأصل، وهو ما يبدو معقولاً.

لقد أخطأ المشرف في شرح معنى رمز الاستجابة 404.

لقد أوضح المشرف بشكل غير صحيح:

“404 يعني في الأساس – الصفحة معطلة، سنقوم بإصلاحها قريبًا، قم بالتحقق مرة أخرى: وهذا ما تفعله Google – التحقق مرة أخرى لمعرفة ما إذا كنت قد أصلحتها أم لا.”

يرتكب المشرف خطأين في استجابته.

1. 404 يعني عدم العثور على الصفحة
رمز الحالة 404 يعني فقط أنه لم يتم العثور على الصفحة. لا تصدقني؟ إليك معيار الويب الرسمي لرمز الحالة 404:

“يشير رمز الحالة 404 (غير موجود) إلى أن الخادم الأصلي لم يعثر على تمثيل حالي للمورد المستهدف أو أنه غير مستعد للكشف عن وجوده. ولا يشير رمز الحالة 404 إلى ما إذا كان هذا النقص في التمثيل مؤقتًا أم دائمًا…”

2. 404 ليس خطأ يحتاج إلى إصلاح
يشير الأشخاص عادةً إلى رمز الحالة 404 كاستجابة للخطأ. السبب في كونه خطأ هو أن المتصفح أو الزاحف طلب عنوان URL غير موجود، مما يعني أن الطلب كان خطأ، وليس أن الصفحة تحتاج إلى إصلاح، كما أصر المشرف عندما قال “404 تعني في الأساس – الصفحة معطلة”، وهذا غير صحيح بنسبة 100٪.

علاوة على ذلك، كان مشرف Reddit مخطئًا في إصراره على أن Google “تقوم بالتحقق مرة أخرى لمعرفة ما إذا كنت قد أصلحت المشكلة”. يقوم Google بالتحقق مرة أخرى لمعرفة ما إذا كانت الصفحة قد فقدت عن طريق الصدفة، ولكن هذا لا يعني أن 404 شيء يحتاج إلى إصلاح. في معظم الأحيان، من المفترض أن تختفي الصفحة لسبب ما، وتوصي Google بتقديم رمز الاستجابة 404 لتلك الأوقات.

هذا ليس جديدا

لا يتعلق الأمر بكون معلومات مشرف Reddit قديمة. لقد كان هذا هو الحال دائمًا مع Google، التي تتبع بشكل عام معايير الويب الرسمية.

أوضح مات كاتس من Google كيف تتعامل Google مع 404 ولماذا في مقطع فيديو عام 2014:

“اتضح أن مشرفي المواقع يطلقون النار على أنفسهم في كثير من الأحيان. تختفي الصفحات، ويخطئ الأشخاص في تكوين المواقع، وتتعطل المواقع، ويحظر الأشخاص Googlebot عن طريق الصدفة، ويحظر الأشخاص المستخدمين العاديين عن طريق الصدفة. لذلك، إذا نظرت إلى الويب بالكامل، يجب على فريق الزحف أن يصمم ليكون قويًا ضد ذلك.

إذن باستخدام 404… سنقوم بحماية تلك الصفحة لمدة أربع وعشرين ساعة في نظام الزحف. لذلك نحن ننتظر نوعًا ما، ونقول، حسنًا، ربما كان ذلك عابرًا 404. ربما لم يكن المقصود حقًا أن تكون الصفحة غير موجودة. وهكذا في نظام الزحف، سيتم حمايته لمدة أربع وعشرين ساعة.

…الآن، لا تفهم هذا كثيرًا بطريقة خاطئة، سنستمر في العودة وإعادة الفحص والتأكد، هل اختفت تلك الصفحات بالفعل أم ربما عادت الصفحات إلى الحياة مرة أخرى.

…وهكذا إذا اختفت الصفحة، فلا بأس أن تخدم 404. إذا كنت تعلم أنها اختفت بشكل حقيقي، فلا بأس أن تخدم 410.

لكننا سنصمم نظام الزحف الخاص بنا ليكون قويًا. ولكن إذا تعطل موقعك، أو إذا تعرضت للاختراق أو أي شيء آخر، فإننا نحاول التأكد من أنه لا يزال بإمكاننا العثور على المحتوى الجيد عندما يكون متاحًا.

الوجبات الجاهزة

يمكن اعتبار زحف Googlebot إلى 404 صفحة بمثابة إشارة إيجابية على إعجاب Google بالمحتوى الخاص بك.
رموز الحالة 404 لا تعني أن الصفحة بها خطأ؛ فهذا يعني أنه لم يتم العثور على الصفحة.
رموز الحالة 404 لا تعني أن شيئًا ما يحتاج إلى إصلاح. هذا يعني فقط أنه لم يتم العثور على الصفحة المطلوبة.
لا حرج في تقديم رمز الاستجابة 404؛ توصي جوجل بذلك.
تعرض Search Console 404 ردودًا حتى يتمكن مالك الموقع من تحديد ما إذا كانت هذه الصفحات قد اختفت عمدًا أم لا.