أهم 4 أوراق بحثية عن NeurIPS 2025 يجب عليك قراءتها

أسقطت NeurIPS قائمتها لأفضل الأوراق البحثية لعام 2025، وتقوم القائمة بما هو أكثر من مجرد اسم عمل مثير للإعجاب. فهو يوفر خريطة للتنقل بين المشكلات التي يهتم بها المجال الآن. ستلقي هذه المقالة بعض الضوء على ماهية تلك الأوراق البحثية، وكيف تمكنت من المساهمة في الذكاء الاصطناعي. لقد قمنا أيضًا بتضمين روابط للأبحاث الكاملة، إذا كنت فضوليًا.

معايير الاختيار

تم تكليف لجان جائزة أفضل الأوراق البحثية باختيار مجموعة من الأوراق البحثية ذات التأثير الكبير من المسار الرئيسي و مجموعات البيانات والمقاييس المعيارية مسار المؤتمر. لقد توصلوا إلى 4 أوراق كفائزين.

الفائزون!

العقل الاصطناعي الاصطناعي: التجانس المفتوح لنماذج اللغة (وما بعدها)

التنوع هو شيء افتقرت إليه النماذج اللغوية الكبيرة منذ نشأتها. لقد تم بذل جهود متقنة للمساعدة في تمييز مخرجات أحد النماذج عن النماذج الأخرى، لكن الجهود كانت بلا جدوى.

إن التجانس في استجابة LLMs عبر البنى التحتية والشركات، يسلط الضوء باستمرار على الافتقار إلى الإبداع في LLMs. نحن نقترب ببطء من النقطة التي لا يمكن فيها تمييز الاستجابة النموذجية عن الأخرى.

وتوضح الورقة المشكلة التي تكمن في المعايير التقليدية. تستخدم معظم المعايير استعلامات ضيقة تشبه المهام (الرياضيات والتوافه والتعليمات البرمجية). لكن المستخدمين الحقيقيين يسألون أشياء فوضوية ومبدعة وذاتية. وتلك هي بالضبط أين تنهار النماذج إلى مخرجات مماثلة. تقترح الورقة مجموعة بيانات تبحث بشكل منهجي في هذه المنطقة.

وهذان المفهومان اللذان يقعان في قلب الورقة:

• التكرار داخل النموذج: نموذج واحد يكرر نفسه عبر مطالبات مختلفة أو عمليات تشغيل مختلفة.
• التجانس بين النماذج: نماذج مختلفة تنتج إجابات مماثلة بشكل مثير للصدمة.

الجزء الثاني هو الجزء المقلق، كما لو أن الأنثروبيين، وجوجل، وميتا جميعهم لديهم نماذج مختلفة تردد نفس الاستجابة، فما المغزى من هذه التطورات المتنوعة؟

الحل: إنفينيتي-دردشة

تأتي مجموعة Infinity-Chat، وهي مجموعة البيانات المقترحة كحل لهذه المشكلة، مع أكثر من 30 ألف تعليق توضيحي بشري، مما يمنح كل مطالبة 25 تقييمًا مستقلاً. وتسمح هذه الكثافة بدراسة كيفية تباين أذواق الناس، وليس فقط ما يتفقون عليه. عندما قارن المؤلفون تلك الأحكام البشرية بمخرجات النماذج، ونماذج المكافآت، ومقيمي ماجستير إدارة الأعمال الآليين، وجدوا نمطًا واضحًا: تبدو الأنظمة معايرة جيدًا عندما تكون التفضيلات موحدة، ولكنها تتعثر بمجرد أن تؤدي الإجابات إلى خلاف حقيقي. هذه هي القيمة الحقيقية لـ Infinity-Chat!

المؤلفون: ليوي جيانغ، يوانجون تشاي، مارغريت لي، ميكل ليو، ريموند فوك، نهى دزيري، يوليا تسفيتكوف، مارتن ساب، يجين تشوي

ورقة كاملة: https://openreview.net/forum?id=saDOrrnNTz

الاهتمام المحظور لنماذج اللغات الكبيرة: عدم الخطية، والتشتت، وعدم تشتت الانتباه

لقد كانت المحولات موجودة لفترة طويلة بما يكفي لدرجة أن الناس يفترضون أن آلية الانتباه هي تصميم مستقر. تبين أنه ليس كذلك! حتى مع كل الحيل المعمارية التي تمت إضافتها على مر السنين، لا يزال الاهتمام يأتي بتكلفة عدم الاستقرار، وعمليات التنشيط الضخمة، ومصرف الانتباه المعروف الذي يبقي النماذج تركز على الرموز غير ذات الصلة.

أخذ مؤلفو هذا البحث سؤالًا بسيطًا وطرحوه بقوة: ماذا يحدث إذا أضفت بوابة بعد حساب الانتباه، وليس أكثر. إنهم يجرون أكثر من ثلاثين تجربة على نماذج كثيفة ونماذج MoE (خليط من الخبراء) المدربة على تريليونات من الرموز المميزة. الجزء المثير للدهشة هو مدى استمرار هذا التعديل الصغير في المساعدة عبر الإعدادات.

هناك فكرتان تشرحان سبب نجاح عملية البوابات بشكل جيد:

• عدم الخطية والتناثر: تضيف البوابات السينية الخاصة بالرأس عدم خطية جديدة بعد الاهتمام، مما يسمح للنموذج بالتحكم في المعلومات التي تتدفق للأمام.
• تغيير بسيط، تأثير كبير: يعد التعديل صغيرًا ولكنه يعزز الأداء باستمرار عبر أحجام النماذج.

الحل: بوابة الإخراج

توصي الورقة بتعديل مباشر: تطبيق بوابة على مخرجات الانتباه على أساس كل رأس. لا شيء أكثر. تظهر التجارب أن هذا الإصلاح يعمل باستمرار على تحسين الأداء عبر أحجام النماذج. ولأن الآلية بسيطة، فمن المتوقع أن يتبناها المجتمع الأوسع دون احتكاك. يسلط العمل الضوء على كيف أن البنى المعمارية الناضجة لا تزال لديها مجال للتحسين المجدي.

المؤلفون: زيهان تشيو، زيكون وانغ، بو تشنغ، زيو هوانغ، كايو وين، سونغلين يانغ، روي مين، لو يو، فاي هوانغ، سوزهي هوانغ، دايهينغ ليو، جينغرين تشو، جونيانغ لين

ورقة كاملة: https://openreview.net/forum?id=1b7whO4SfY

مع إبعاد هاتين الورقتين، لا توفر الورقتان الأخريان بالضرورة حلاً، بل تقترح بعض المؤشرات التي يمكن اتباعها.

شبكات ذات 1000 طبقة لـ RL الخاضعة للإشراف الذاتي: توسيع العمق يمكن أن يتيح قدرات جديدة للوصول إلى الأهداف

لقد ظل التعلم المعزز عالقًا منذ فترة طويلة في النماذج السطحية لأن إشارة التدريب ضعيفة جدًا بحيث لا يمكنها توجيه الشبكات العميقة جدًا. تتراجع هذه الورقة عن هذا الافتراض وتوضح أن العمق ليس عائقًا. إنها عملية فتح القدرة.

يقوم المؤلفون بتدريب الشبكات بما يصل إلى ألف طبقة في إعداد مشروط بالهدف وخاضع للإشراف الذاتي. لا مكافآت. لا مظاهرات. يتعلم الوكيل من خلال الاستكشاف والتنبؤ بكيفية الوصول إلى الأهداف المطلوبة. النماذج الأعمق لا تعمل فقط على تحسين معدلات النجاح. إنهم يتعلمون سلوكيات لا تكتشفها النماذج السطحية أبدًا.

هناك فكرتان تكمنان في جوهر سبب نجاح العمق هنا:

• الإشراف الذاتي المتناقض: يتعلم الوكيل من خلال مقارنة الحالات والأهداف، مما ينتج عنه إشارة تعليمية مستقرة وكثيفة.
• حجم الدفعة والاستقرار: تدريب الشبكات العميقة جدًا لا يعمل إلا عندما ينمو حجم الدفعة بعمق. تحافظ الدُفعات الأكبر حجمًا على استقرار التحديثات المتباينة وتمنع انهيارها.

المؤلفون: كيفن وانغ، إيشان جافالي، ميشال بورتكيويتز، توماس ترزسينسكي، بنيامين إيسنباخ
ورقة كاملة: https://openreview.net/forum?id=s0JVsx3bx1

لماذا لا تحفظ نماذج الانتشار: دور التنظيم الديناميكي الضمني في التدريب

نادراً ما تحفظ نماذج الانتشار بيانات التدريب الخاصة بها، حتى عندما تكون ذات معلمات كبيرة. تتعمق هذه الورقة في عملية التدريب لشرح سبب حدوث ذلك.

يحدد المؤلفون جدولين زمنيين للتدريب. علامة واحدة عندما يبدأ النموذج في إنتاج عينات عالية الجودة. والعلامة الثانية عندما يبدأ الحفظ. النقطة الأساسية هي أن وقت التعميم يظل كما هو بغض النظر عن حجم مجموعة البيانات، بينما ينمو وقت الحفظ مع نمو مجموعة البيانات. يؤدي ذلك إلى إنشاء نافذة موسعة حيث يتم تعميم النموذج دون الإفراط في التجهيز.

هناك فكرتان تكمنان في جوهر سبب بقاء الحفظ مكبوتًا:

• فترات التدريب: التعميم يظهر في وقت مبكر من التدريب. يظهر الحفظ فقط إذا استمر التدريب بعد تلك النقطة.
• التنظيم الديناميكي الضمني: تعمل ديناميكيات التحديث بشكل طبيعي على توجيه النموذج نحو البنية العريضة بدلاً من عينات محددة.

لا تقدم هذه الورقة نموذجًا أو طريقة. إنه يقدم تفسيرًا واضحًا للسلوك الذي لاحظه الأشخاص ولكن لم يتمكنوا من تبريره بشكل كامل. ويوضح سبب تعميم نماذج الانتشار بشكل جيد ولماذا لا تواجه مشاكل الحفظ التي تظهر في النماذج التوليدية الأخرى.

المؤلفون: توني بونير، رافائيل أورفين، جوليو بيرولي، مارك ميزارد
ورقة كاملة: https://openreview.net/forum?id=BSZqpqgqM0

خاتمة

تحدد الأوراق الأربع نغمة واضحة للمكان الذي يتجه إليه البحث. فبدلاً من ملاحقة نماذج أكبر من أجل تحقيق ذلك، يتحول التركيز نحو فهم حدودها، وإصلاح الاختناقات القائمة منذ فترة طويلة، وكشف الأماكن التي تفشل فيها النماذج بهدوء. سواء أكان الأمر يتعلق بالتجانس الزاحف لمخرجات LLM، أو الضعف الذي تم التغاضي عنه في آليات الانتباه، أو الإمكانات غير المستغلة للعمق في RL، أو الديناميكيات الخفية التي تمنع نماذج الانتشار من الحفظ، فإن كل ورقة بحثية تدفع المجال نحو رؤية أكثر ثباتًا لكيفية تصرف هذه الأنظمة فعليًا. إنه تذكير بأن التقدم الحقيقي يأتي من الوضوح، وليس من الحجم فقط.

الأسئلة المتداولة