تتغير توصيات الذكاء الاصطناعي مع كل استعلام تقريبًا: SparkToro

تنتج أدوات الذكاء الاصطناعي قوائم توصيات مختلفة للعلامات التجارية تقريبًا في كل مرة تجيب فيها على نفس السؤال، وفقًا لتقرير جديد صادر عن SparkToro.

أظهرت البيانات فرصة أقل من 1 في 100 أن يقوم ChatGPT أو الذكاء الاصطناعي في البحث من Google (نظرات عامة حول الذكاء الاصطناعي/وضع الذكاء الاصطناعي) بإرجاع نفس قائمة العلامات التجارية عبر عمليات التشغيل المتكررة للمطالبة نفسها.

أجرى راند فيشكين، المؤسس المشارك لشركة SparkToro، البحث مع باتريك أودونيل من Gumshoe.ai، وهي شركة ناشئة لتتبع الذكاء الاصطناعي. أجرى الفريق 2961 مطالبة عبر ChatGPT وClaude وGoogle Search AI Overviews (مع استخدام وضع AI عند عدم ظهور Overviews) باستخدام مئات المتطوعين خلال شهري نوفمبر وديسمبر.

ما البيانات التي تم العثور عليها

اختبر المؤلفون 12 مطالبة تطلب توصيات بشأن العلامة التجارية عبر الفئات، بما في ذلك سكاكين الطهاة، وسماعات الرأس، ومستشفيات رعاية مرضى السرطان، ومستشاري التسويق الرقمي، وروايات الخيال العلمي.

تم تشغيل كل مطالبة 60-100 مرة لكل منصة. كانت كل استجابة تقريبًا فريدة من نوعها من ثلاث طرق: قائمة العلامات التجارية المقدمة، وترتيب التوصيات، وعدد العناصر التي تم إرجاعها.

لخص فيشكين النتيجة الأساسية:

“إذا طلبت من إحدى أدوات الذكاء الاصطناعي تقديم توصيات بشأن العلامة التجارية/المنتج مائة مرة تقريبًا، فستكون كل استجابة فريدة من نوعها.”

أظهر كلود اتساقًا أعلى قليلاً في إنتاج نفس القائمة مرتين، لكنه كان أقل احتمالًا لإنتاج نفس الترتيب. لم تقترب أي من المنصات من تعريف المؤلفين للتكرار الموثوق.

مشكلة التقلب الفوري

قام المؤلفون أيضًا بفحص كيفية قيام المستخدمين الحقيقيين بكتابة المطالبات. عندما طُلب من 142 مشاركًا كتابة مطالباتهم الخاصة حول سماعات الرأس لأحد أفراد العائلة المسافرين، لم تبدو أي مطالبات متشابهة تقريبًا.

كانت درجة التشابه الدلالي عبر تلك المطالبات المكتوبة بواسطة الإنسان 0.081. قارن فيشكين العلاقة بـ:

”دجاج كونغ باو وزبدة الفول السوداني.“

تشترك المطالبات في هدف أساسي ولكن القليل من أي شيء آخر.

على الرغم من التنوع السريع، فقد أعادت أدوات الذكاء الاصطناعي العلامات التجارية من مجموعة اعتبارات متسقة نسبيًا. ظهرت شركات Bose وSony وSennheiser وApple في 55-77% من الردود الـ 994 على تلك المطالبات المتنوعة لسماعات الرأس.

ماذا يعني هذا بالنسبة لتتبع رؤية الذكاء الاصطناعي

تشكك النتائج في قيمة “موضع تصنيف الذكاء الاصطناعي” كمقياس. كتب فيشكين: “إن أي أداة تعطي “مركزًا متقدمًا في الذكاء الاصطناعي” مليئة بالهراء”.

ومع ذلك، تشير البيانات إلى أن عدد المرات التي تظهر فيها العلامة التجارية عبر العديد من مجموعات المطالبات المماثلة يكون أكثر اتساقًا. في الفئات الضيقة مثل موفري الحوسبة السحابية، ظهرت أفضل العلامات التجارية في معظم الردود. وفي الفئات الأوسع مثل روايات الخيال العلمي، كانت النتائج أكثر تشتتًا.

يتماشى هذا مع التقارير الأخرى التي قمنا بتغطيتها. في ديسمبر، نشرت Ahrefs بيانات توضح أن وضع الذكاء الاصطناعي من Google ونظرات الذكاء الاصطناعي تستشهد بمصادر مختلفة بنسبة 87% من الوقت لنفس الاستعلام. ركز هذا التقرير على سؤال مختلف: نفس المنصة ولكن بميزات مختلفة. تقوم بيانات SparkToro هذه بفحص نفس النظام الأساسي والموجه، ولكن مع عمليات تشغيل مختلفة.

ويشير النمط عبر هذه الدراسات إلى نفس الاتجاه. يبدو أن توصيات الذكاء الاصطناعي تختلف على كل مستوى، سواء كنت تقارن عبر الأنظمة الأساسية، أو عبر الميزات داخل النظام الأساسي، أو عبر الاستعلامات المتكررة لنفس الميزة.

ملاحظات المنهجية

تم إجراء البحث بالشراكة مع Gumshoe.ai، التي تبيع أدوات التتبع المدعومة بالذكاء الاصطناعي. كشف فيشكين عن ذلك وأشار إلى أن فرضيته الأولية كانت أن تتبع الذكاء الاصطناعي سيكون “بلا جدوى”.

نشر الفريق المنهجية الكاملة والبيانات الأولية على موقع عام مصغر. استخدم المشاركون في الاستطلاع إعدادات أدوات الذكاء الاصطناعي العادية الخاصة بهم دون توحيد المعايير، والتي قال المؤلفون إنها كانت مقصودة لالتقاط التباين في العالم الحقيقي.

التقرير ليس بحثًا أكاديميًا خاضعًا لمراجعة النظراء. واعترف فيشكين بالقيود المنهجية ودعا إلى أعمال متابعة واسعة النطاق.

التطلع إلى الأمام

ترك المؤلفون أسئلة مفتوحة حول عدد عمليات التشغيل المطلوبة للحصول على بيانات رؤية موثوقة وما إذا كانت مكالمات واجهة برمجة التطبيقات (API) تنتج نفس الاختلاف مثل المطالبات اليدوية.

عند تقييم أدوات تتبع الذكاء الاصطناعي، تشير النتائج إلى أنه يجب عليك أن تطلب من مقدمي الخدمة توضيح منهجيتهم. كتب فيشكين: