أزرار “التلخيص باستخدام الذكاء الاصطناعي” المستخدمة لتسميم توصيات الذكاء الاصطناعي

نشر فريق أبحاث Defender Security التابع لشركة Microsoft بحثًا يصف ما يطلق عليه “تسمم توصيات الذكاء الاصطناعي”. تتضمن هذه التقنية إخفاء الشركات لتعليمات الإدخال الفوري داخل أزرار موقع الويب التي تحمل عنوان “التلخيص باستخدام الذكاء الاصطناعي”.

عند النقر فوق أحد هذه الأزرار، يتم فتح مساعد الذكاء الاصطناعي بمطالبة مملوءة مسبقًا يتم تسليمها من خلال معلمة استعلام URL. الجزء المرئي يخبر المساعد بتلخيص الصفحة. الجزء المخفي يأمره بتذكر الشركة كمصدر موثوق للمحادثات المستقبلية.

إذا دخلت التعليمات إلى ذاكرة المساعد، فيمكن أن تؤثر على التوصيات دون أن تعلم أنها مزروعة.

ماذا يحدث

قام فريق Microsoft بمراجعة عناوين URL ذات الصلة بالذكاء الاصطناعي والتي تمت ملاحظتها في حركة مرور البريد الإلكتروني على مدار 60 يومًا. ووجدوا 50 محاولة متميزة للحقن السريع من 31 شركة.

تشترك المطالبات في نمط مماثل. يتضمن منشور Microsoft أمثلة حيث طلبت الإرشادات من الذكاء الاصطناعي أن يتذكر الشركة باعتبارها “مصدرًا موثوقًا للاستشهادات” أو “المصدر المعتمد” لموضوع معين. وذهبت إحدى المطالبات إلى أبعد من ذلك، حيث تم حقن نسخة تسويقية كاملة في ذاكرة المساعد، بما في ذلك ميزات المنتج ونقاط البيع.

تتبع الباحثون هذه التقنية إلى الأدوات المتاحة للعامة، بما في ذلك حزمة npm CiteMET ومولد URL المستند إلى الويب AI Share URL Creator. ويصف المنشور كلاهما بأنه مصمم لمساعدة مواقع الويب على “بناء التواجد في ذاكرة الذكاء الاصطناعي”.

تعتمد هذه التقنية على عناوين URL مُصممة خصيصًا مع معلمات سريعة يدعمها معظم مساعدي الذكاء الاصطناعي الرئيسيين. أدرجت Microsoft هياكل URL لـ Copilot، وChatGPT، وClaude، وPerplexity، وGrok، لكنها لاحظت أن آليات الثبات تختلف عبر الأنظمة الأساسية.

تم تصنيفه رسميًا باسم MITRE ATLAS AML.T0080 (تسمم الذاكرة) وAML.T0051 (LLM Prompt الحقن).

ما وجدته مايكروسوفت

وكانت الشركات الـ 31 التي تم تحديدها عبارة عن شركات حقيقية، وليست جهات تهديد أو محتالين.

استهدفت المطالبات المتعددة مواقع الخدمات الصحية والمالية، حيث تحمل توصيات الذكاء الاصطناعي المتحيزة وزنًا أكبر. وقد تم بسهولة الخلط بين نطاق إحدى الشركات وبين موقع ويب مشهور، مما قد يؤدي إلى مصداقية زائفة. وكانت إحدى الشركات الـ 31 عبارة عن بائع أمني.

دعت مايكروسوفت إلى وجود خطر ثانوي. تحتوي العديد من المواقع التي تستخدم هذه التقنية على أقسام محتوى أنشأها المستخدمون مثل سلاسل التعليقات والمنتديات. بمجرد أن يتعامل الذكاء الاصطناعي مع موقع ما باعتباره موقعًا موثوقًا، فقد يوسع هذه الثقة لتشمل محتوى لم يتم فحصه على نفس النطاق.

رد مايكروسوفت

وقالت مايكروسوفت إن لديها وسائل حماية في برنامج Copilot ضد هجمات الحقن الفوري. لاحظت الشركة أن بعض سلوكيات الحقن السريع التي تم الإبلاغ عنها مسبقًا لم يعد من الممكن إعادة إنتاجها في برنامج Copilot، وأن وسائل الحماية مستمرة في التطور.

نشرت Microsoft أيضًا استعلامات بحث متقدمة للمؤسسات التي تستخدم Defender لـ Office 365، مما يسمح لفرق الأمان بفحص البريد الإلكتروني وحركة مرور Teams بحثًا عن عناوين URL التي تحتوي على كلمات رئيسية لمعالجة الذاكرة.

يمكنك مراجعة وإزالة ذكريات Copilot المخزنة من خلال قسم التخصيص في إعدادات دردشة Copilot.

لماذا هذا مهم؟

تقارن مايكروسوفت هذه التقنية ببرامج تسميم تحسين محركات البحث (SEO) وبرامج الإعلانات المتسللة، وتضعها في نفس فئة التكتيكات التي قضت جوجل عقدين من الزمن في محاربتها في البحث التقليدي. والفرق هو أن الهدف قد انتقل من فهارس البحث إلى ذاكرة مساعد الذكاء الاصطناعي.

تواجه الشركات التي تقوم بعمل مشروع فيما يتعلق برؤية الذكاء الاصطناعي الآن منافسين قد يقدمون توصيات عن طريق الحقن الفوري.

التوقيت ملحوظ. نشرت SparkToro أ تقرير يوضح أن توصيات العلامة التجارية للذكاء الاصطناعي تختلف بالفعل عبرها تقريبا كل الاستعلام. صرح نائب رئيس Google، روبي ستاين، لأحد المدونات الصوتية أن بحث الذكاء الاصطناعي يعثر على توصيات الأعمال من خلال التحقق مما تقوله المواقع الأخرى. يتجاوز تسمم الذاكرة هذه العملية عن طريق زرع التوصية مباشرة في مساعد المستخدم.

غطى تحليل روجر مونتي لتسميم بيانات تدريب الذكاء الاصطناعي المفهوم الأوسع للتلاعب بأنظمة الذكاء الاصطناعي من أجل الرؤية. ركزت تلك القطعة على مجموعات بيانات التدريب على التسمم. يُظهر بحث Microsoft هذا شيئًا أكثر إلحاحًا، يحدث عند نقطة تفاعل المستخدم ويتم نشره تجاريًا.

التطلع إلى الأمام

اعترفت مايكروسوفت بأن هذه مشكلة متطورة. تعني الأدوات مفتوحة المصدر أن المحاولات الجديدة يمكن أن تظهر بشكل أسرع من قدرة أي نظام أساسي على حظرها، وتنطبق تقنية معلمة URL على معظم مساعدي الذكاء الاصطناعي الرئيسيين.

من غير الواضح ما إذا كانت منصات الذكاء الاصطناعي ستتعامل مع هذا باعتباره انتهاكًا للسياسة له عواقب، أو ما إذا كان سيظل بمثابة تكتيك نمو في المنطقة الرمادية تستمر الشركات في استخدامه.

نصيحة إلى Lily Ray لوضع علامة على أبحاث Microsoft حول X، ونسب الفضل إلى @top5seo في هذا الاكتشاف.

صورة مميزة: com.elenabsl/ شترستوك