ما الذي يمكن أن تخبرني به بيانات ملف التسجيل ولا تستطيع الأدوات ذلك؟ – اسأل كبار المسئولين الاقتصاديين

في جلسة اسأل أحد كبار المسئولين الاقتصاديين اليوم، نجيب على السؤال:

“أكأحد مُحسنات محركات البحث، هل يجب أن أستخدم بيانات ملف السجل، وما الذي يمكن أن يخبرني به والذي لا تستطيع الأدوات فعله؟“

ما هي ملفات السجل

في الأساس، ملفات السجل هي السجل الأولي للتفاعل مع موقع الويب. يتم الإبلاغ عنها بواسطة خادم موقع الويب وتتضمن عادةً معلومات حول المستخدمين والروبوتات والصفحات التي يتفاعلون معها ومتى.

عادةً، ستحتوي ملفات السجل على معلومات معينة، مثل عنوان IP للشخص أو الروبوت الذي تفاعل مع موقع الويب، أو وكيل المستخدم (على سبيل المثال، Googlebot، أو المتصفح إذا كان إنسانًا)، ووقت التفاعل، وعنوان URL، ورمز استجابة الخادم الذي يقدمه عنوان URL.

سجل المثال:

6.249.65.1 - - (19/Feb/2026:14:32:10 +0000) "GET /category/shoes/running-shoes/ HTTP/1.1" 200 15432 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36" 

• 6.249.65.1 – هذا هو عنوان IP الخاص بوكيل المستخدم الذي وصل إلى موقع الويب.
• 19/فبراير/2026:14:32:10 +0000 – هذا هو الطابع الزمني للضربة.
• احصل على /category/shoes/running-shoes/ HTTP/1.1 – طريقة HTTP وعنوان URL المطلوب وإصدار البروتوكول.
• 200 – رمز حالة HTTP.
• 15432 – حجم الاستجابة بالبايت.
• Mozilla/5.0 (Macintosh؛ Intel Mac OS X 14_2) AppleWebKit/537.36 (KHTML، مثل Gecko) Chrome/121.0.0.0 Safari/537.36 – وكيل المستخدم (أي الروبوت أو المتصفح الذي طلب الملف)

ما هي ملفات السجل التي يمكن استخدامها

تعد ملفات السجل هي التسجيل الأكثر دقة لكيفية تنقل المستخدم أو الروبوت حول موقع الويب الخاص بك. غالبًا ما تُعتبر السجل الأكثر موثوقية للتفاعلات مع موقع الويب الخاص بك، على الرغم من أن التخزين المؤقت لـ CDN وتكوين البنية التحتية يمكن أن يؤثر على الاكتمال.

ما الذي تزحف إليه محركات البحث

أحد أهم استخدامات ملفات السجل لتحسين محركات البحث هو فهم الصفحات التي تزحف إليها روبوتات محرك بحث موقعنا.

تسمح لنا ملفات السجل بمعرفة الصفحات التي يتم الزحف إليها وبأي وتيرة. ويمكنها مساعدتنا في التحقق مما إذا كان يتم الزحف إلى الصفحات المهمة وما إذا كان يتم الزحف إلى الصفحات التي تتغير غالبًا بتكرار متزايد مقارنة بالصفحات الثابتة.

يمكن استخدام ملفات السجل لمعرفة ما إذا كان هناك نفايات في الزحف، على سبيل المثال، الصفحات التي لا تريد الزحف إليها، أو مع أي تكرار حقيقي، تستغرق وقتًا في الزحف عندما يزور الروبوت موقعًا ما. على سبيل المثال، من خلال النظر إلى ملفات السجل، يمكنك تحديد أن عناوين URL ذات المعلمات أو الصفحات المقسمة إلى صفحات تحظى بقدر كبير من الاهتمام بالزحف مقارنة بصفحاتك الأساسية.

يمكن أن تكون هذه المعلومات مهمة في تحديد المشكلات المتعلقة باكتشاف الصفحة والزحف إليها.

تخصيص ميزانية الزحف الحقيقي

يمكن أن يعطي تحليل ملف السجل صورة حقيقية لميزانية الزحف. يمكن أن يساعد في تحديد أقسام الموقع التي تحظى بأكبر قدر من الاهتمام، وأيها يتم إهمالها بواسطة الروبوتات.

يمكن أن يكون هذا أمرًا بالغ الأهمية لمعرفة ما إذا كانت هناك صفحات مرتبطة بشكل سيئ على الموقع، أو إذا تم منحها أولوية زحف أقل من تلك الأقسام من الموقع ذات الأهمية الأقل.

يمكن أن تكون ملفات السجل مفيدة أيضًا بعد الانتهاء من أعمال تحسين محركات البحث عالية التقنية. على سبيل المثال، عند ترحيل موقع ويب، يمكن أن يساعد عرض ملفات السجل في تحديد مدى سرعة اكتشاف التغييرات في الموقع.

من خلال ملفات السجل، من الممكن أيضًا تحديد ما إذا كانت التغييرات التي تم إجراؤها على بنية موقع الويب قد ساعدت بالفعل في تحسين الزحف.

عند إجراء تجارب تحسين محركات البحث، من الضروري معرفة ما إذا كانت الصفحة التي تمثل جزءًا من التجربة قد تم الزحف إليها بواسطة الروبوتات أم لا، حيث يمكن أن يحدد ذلك ما إذا كانت تجربة الاختبار قد تمت رؤيتها من قبلهم. يمكن لملفات السجل أن تعطي هذه الرؤية.

سلوك الزحف أثناء المشكلات الفنية

يمكن أن تكون ملفات السجل مفيدة أيضًا في اكتشاف المشكلات الفنية على موقع الويب. على سبيل المثال، هناك حالات لا يكون فيها رمز الحالة الذي تم الإبلاغ عنه بواسطة أداة الزحف بالضرورة هو رمز الحالة الذي سيتلقاه الروبوت عند الوصول إلى الصفحة. في هذه الحالة، ستكون ملفات السجل هي الطريقة الوحيدة لتحديد ذلك بشكل مؤكد.

ستمكنك ملفات السجل من معرفة ما إذا كانت الروبوتات تواجه انقطاعات مؤقتة في الموقع، ولكن أيضًا المدة التي تستغرقها لإعادة مواجهة تلك الصفحات نفسها بالحالة الصحيحة بمجرد إصلاح المشكلة.

التحقق من الروبوت

إحدى الميزات المفيدة جدًا لتحليل ملف السجل هي التمييز بين الروبوتات الحقيقية والروبوتات المخادعة. هذه هي الطريقة التي يمكنك من خلالها تحديد ما إذا كانت الروبوتات تصل إلى موقعك تحت ستار أنها من Google أو Microsoft، ولكنها في الواقع من شركة أخرى. يعد هذا أمرًا مهمًا لأن برامج الروبوت قد تتحايل على الإجراءات الأمنية لموقعك من خلال الادعاء بأنها Googlebot، في حين أنها في الواقع تتطلع إلى تنفيذ إجراءات شائنة على موقعك، مثل استخراج البيانات.

باستخدام ملفات السجل، من الممكن تحديد نطاق IP الذي جاء منه برنامج الروبوت والتحقق منه مقابل نطاقات IP المعروفة لبرامج الروبوت الشرعية، مثل Googlebot. يمكن أن يساعد ذلك فرق تكنولوجيا المعلومات في توفير الأمان لموقع ويب دون حظر برامج البحث الأصلية عن غير قصد والتي تحتاج إلى الوصول إلى موقع الويب حتى يكون تحسين محركات البحث فعالاً.

اكتشاف الصفحات اليتيمة

يمكن استخدام ملفات السجل لتحديد الصفحات الداخلية التي لم تكتشفها الأدوات. على سبيل المثال، قد يعرف Googlebot إحدى الصفحات من خلال رابط خارجي إليها، بينما لن تتمكن أداة الزحف من اكتشافها إلا من خلال الارتباط الداخلي أو من خلال خرائط الموقع.

يمكن أن يكون البحث في ملفات السجل مفيدًا لتشخيص الصفحات اليتيمة على موقعك والتي لم تكن على علم بها. وهذا أيضًا مفيد جدًا في تحديد عناوين URL القديمة التي لم يعد من المفترض الوصول إليها عبر الموقع ولكن لا يزال من الممكن الزحف إليها. على سبيل المثال، عناوين URL HTTP أو النطاقات الفرعية التي لم يتم ترحيلها بشكل صحيح.

ما هي الأدوات الأخرى التي لا تستطيع أن تخبرنا بها ملفات السجل

إذا كنت لا تستخدم ملفات السجل حاليًا، فمن المحتمل أنك تستخدم أدوات تحسين محركات البحث الأخرى لتحصل على جزء من المعرفة التي يمكن أن توفرها ملفات السجل.

برامج التحليلات

يمكن لبرنامج التحليلات مثل Google Analytics أن يمنحك إشارة إلى الصفحات الموجودة على موقع الويب، حتى لو لم تكن برامج الروبوت قادرة بالضرورة على الوصول إليها.

توفر منصات التحليلات أيضًا الكثير من التفاصيل حول سلوك المستخدم عبر موقع الويب. يمكنهم تقديم سياق للصفحات الأكثر أهمية للأهداف التجارية والصفحات التي لا تحقق أداءً جيدًا.

ومع ذلك، فهي لا تعرض معلومات حول سلوك غير المستخدم. في الواقع، تم تصميم معظم برامج التحليلات لتصفية سلوك الروبوتات للتأكد من أن البيانات المقدمة تعكس المستخدمين البشريين فقط.

وعلى الرغم من أنها مفيدة في تحديد رحلة المستخدمين، إلا أنها لا تعطي أي إشارة إلى رحلة الروبوتات. لا توجد طريقة لتحديد تسلسل الصفحات التي زارها روبوت البحث أو عدد مرات زيارتها.

وحدة تحكم بحث Google/أدوات مشرفي المواقع Bing

غالبًا ما تقدم وحدات تحكم البحث الخاصة بمحركات البحث نظرة عامة على السلامة الفنية لموقع الويب، مثل مشكلات الزحف التي تمت مواجهتها ومتى تم الزحف إلى الصفحات آخر مرة. ومع ذلك، يتم تجميع إحصائيات الزحف ويتم أخذ عينات من بيانات الأداء للمواقع الكبيرة. وهذا يعني أنك قد لا تتمكن من الحصول على معلومات حول صفحات معينة تهمك.

كما أنهم يقدمون معلومات فقط حول برامج الروبوت الخاصة بهم. وهذا يعني أنه قد يكون من الصعب جمع معلومات الزحف إلى الروبوتات معًا، وفي الواقع رؤية سلوك الروبوتات من الشركات التي لا تقدم أداة مثل وحدة التحكم في البحث.

برامج زحف مواقع الويب

يمكن أن تساعد برامج الزحف إلى مواقع الويب في محاكاة كيفية تفاعل روبوت البحث مع موقعك، بما في ذلك ما يمكنه الوصول إليه تقنيًا وما لا يمكنه الوصول إليه. ومع ذلك، فهي لا تظهر لك ما يصل إليه الروبوت بالفعل. يمكنهم تقديم معلومات حول ما إذا كان من الممكن، من الناحية النظرية، الزحف إلى صفحة ما بواسطة روبوت البحث، ولكن لا يقدمون أي بيانات في الوقت الفعلي أو بيانات تاريخية حول ما إذا كان الروبوت قد وصل إلى الصفحة، أو متى، أو مدى تكرار ذلك.

تحاكي برامج زحف مواقع الويب أيضًا سلوك الروبوتات في الظروف التي تحددها لها، وليس بالضرورة الظروف التي تواجهها برامج الروبوت البحثية بالفعل. على سبيل المثال، بدون ملفات السجل، من الصعب تحديد كيفية تنقل روبوتات البحث في الموقع أثناء هجوم DDoS أو انقطاع الخادم.

لماذا لا يجوز لك استخدام ملفات السجل

هناك العديد من الأسباب وراء عدم استخدام مُحسّنات محرّكات البحث لملفات السجل بالفعل.

صعوبة الحصول عليها

في كثير من الأحيان، ليس من السهل الوصول إلى ملفات السجل. قد تحتاج إلى التحدث مع فريق التطوير الخاص بك. اعتمادًا على ما إذا كان هذا الفريق موجودًا أم لا، قد يعني هذا حرفيًا محاولة تعقب من لديه حق الوصول إلى ملفات السجل أولاً.

بالنسبة للفرق العاملة من جانب الوكالة، هناك تعقيد إضافي يتمثل في حاجة الشركات إلى نقل معلومات قد تكون حساسة خارج المؤسسة. يمكن أن تتضمن ملفات السجل معلومات تعريف شخصية، على سبيل المثال، عناوين IP. بالنسبة لأولئك الذين يخضعون لقواعد مثل اللائحة العامة لحماية البيانات، قد يكون هناك بعض القلق بشأن إرسال هذه الملفات إلى طرف ثالث. قد تكون هناك حاجة لتطهير البيانات قبل مشاركتها. يمكن أن يكون هذا تكلفة مادية للوقت والموارد التي قد لا يرغب العميل في إنفاقها لمجرد مشاركة ملفات السجل الخاصة به مع وكالة تحسين محركات البحث الخاصة به.

احتياجات واجهة المستخدم

بمجرد أن تتمكن من الوصول إلى ملفات السجل، لن يكون الأمر سلسًا من هناك. سوف تحتاج إلى فهم ما تنظر إليه. ملفات السجل في شكلها الأولي هي ببساطة ملفات نصية تحتوي على سلسلة بعد سلسلة من البيانات.

إنه ليس شيئًا يمكن تحليله بسهولة. لفهم ملفات السجل بشكل حقيقي، عادة ما تكون هناك حاجة للاستثمار في برنامج للمساعدة في فك تشفيرها. يمكن أن يتراوح سعرها اعتمادًا على ما إذا كانت برامج مصممة للسماح لك بتشغيل ملف على أساس مخصص، أو ما إذا كنت تقوم بتوصيل ملفات السجل الخاصة بك بها بحيث تتدفق إلى البرنامج بشكل مستمر.

متطلبات التخزين

هناك أيضًا حاجة لتخزين ملفات السجل. إلى جانب كونها آمنة للأسباب المذكورة أعلاه، مثل القانون العام لحماية البيانات (GDPR)، قد يكون من الصعب جدًا تخزينها لفترات طويلة نظرًا لسرعة نمو حجمها.

بالنسبة لموقع ويب كبير للتجارة الإلكترونية، قد ترى أن ملفات السجل تصل إلى مئات الجيجابايت على مدار الشهر. وفي تلك الحالات، يصبح تخزينها مشكلة تتعلق بالبنية التحتية التقنية. يمكن أن يساعد ضغط الملفات في هذا. ومع ذلك، نظرًا لأن مشكلات روبوتات البحث يمكن أن تستغرق عدة أشهر من البيانات لتشخيصها، أو تتطلب المقارنة على مدى فترات زمنية طويلة، فقد تبدأ هذه الملفات في أن تصبح كبيرة جدًا بحيث لا يمكن تخزينها بشكل فعال من حيث التكلفة.

التعقيد الفني المتصور

بمجرد حصولك على ملفات السجل الخاصة بك بتنسيق قابل للفك، وتنظيفها وجاهزة للاستخدام، فإنك تحتاج بالفعل إلى معرفة ما يجب فعله بها.

يواجه العديد من مُحسنات محركات البحث (SEO) عائقًا كبيرًا أمام استخدام ملفات السجل استنادًا ببساطة إلى حقيقة أنها تبدو تقنية للغاية بحيث لا يمكن استخدامها. فهي، في نهاية المطاف، مجرد سلاسل من المعلومات حول الزيارات الموجودة على موقع الويب. هذا يمكن أن يشعر بالإرهاق.

هل يجب على مُحسّنات محرّكات البحث استخدام ملفات السجل؟

نعم، إذا كنت تستطيع.

كما هو مذكور أعلاه، هناك العديد من الأسباب التي قد تجعلك غير قادر على الحصول على ملفات السجل الخاصة بك وتحويلها إلى مصدر بيانات قابل للاستخدام. ومع ذلك، بمجرد أن تتمكن من ذلك، سيفتح ذلك مستوى جديدًا تمامًا من فهم السلامة التقنية لموقع الويب الخاص بك وكيفية تفاعل الروبوتات معه.

ستكون هناك اكتشافات لا يمكن تحقيقها ببساطة بدون بيانات ملف السجل. قد تساعدك الأدوات التي تستخدمها حاليًا على تحقيق جزء من الطريق. لكنهم لن يعطوك الصورة الكاملة أبدًا.

المزيد من الموارد:

صورة مميزة: شعر بول / مجلة محرك البحث