يقوم Nanochat بتدريب نموذج مستوى GPT-2 باستخدام عوامل التحسين التلقائي

يتسارع تطوير الذكاء الاصطناعي بسرعة. يتيح التقدم في الأجهزة وتحسين البرامج ومجموعات البيانات الأفضل الآن عمليات التدريب التي كانت تستغرق في السابق أسابيع لتنتهي في ساعات. يُظهر التحديث الأخير من باحث الذكاء الاصطناعي Andrej Karpathy هذا التحول بوضوح: يمكن لمشروع Nanochat مفتوح المصدر الآن تدريب نموذج GPT-2 على عقدة واحدة باستخدام 8 × NVIDIA H100 GPUs في حوالي ساعتين، بانخفاض عن ثلاثة قبل شهر واحد فقط.

والأمر الأكثر إثارة للدهشة هو أن عملاء الذكاء الاصطناعي أجروا 110 تغييرات على التعليمات البرمجية خلال 12 ساعة، مما أدى إلى تحسين فقدان التحقق من الصحة دون إبطاء التدريب. في هذه المقالة، سنلقي نظرة على كيف يمكن لأنظمة الذكاء الاصطناعي ذاتية التحسين أن تعيد تشكيل الطريقة التي تتم بها أبحاث الذكاء الاصطناعي والتدريب النموذجي.

ما هو نانوشات؟

قام Andrej Karpathy بتطوير Nanochat لتوفير نظام تدريب أساسي كامل على نماذج اللغة والذي يعمل كحل شامل. يهدف المشروع إلى إظهار كيف يمكن للمطورين بناء نظام كامل على غرار ChatGPT باستخدام قاعدة تعليمات برمجية صغيرة ومفهومة كأساس لهم. يوفر Nanochat فائدتين رئيسيتين من خلال تصميمه لأنه يلغي الحاجة إلى تبعيات معقدة متعددة مع الحفاظ على شفافية النظام الكاملة.

يتضمن الإطار دورة الحياة الكاملة للتدريب ونشر نموذج اللغة:

• التدريب على استخدام الرموز المميزة
• التدريب المسبق على النموذج الأساسي
• منتصف التدريب مع مجموعات البيانات المحادثة
• ضبط دقيق تحت الإشراف
• تعزيز التعلم الأمثل
• واجهة الاستدلال والدردشة

مع إجمالي طول الكود البالغ 8000 سطر، ينتج عن المسار بأكمله أحد أسهل أنظمة تدريب LLM مفتوحة المصدر التي يمكن الوصول إليها والتي توجد اليوم.

كيف يعمل نظام البحث التلقائي؟

ينشئ إطار عمل AutoResearch حلقة بحث تسمح لوكلاء الذكاء الاصطناعي بتطوير قاعدة التعليمات البرمجية من خلال عملية الاختبار والتحقق المستمرة. يعمل النظام كمهندس بحث تلقائي يقوم بإجراء تجارب لدراسة أدائه.

ويتم سير العمل من خلال الخطوات التالية:

1. تهيئة المستودع

يبدأ الوكيل بمستودع مشروع موجود (على سبيل المثال، Nanochat). يقوم النظام بإنشاء بيئة تجريبية تتضمن قاعدة التعليمات البرمجية الكاملة من خلال عملية استنساخ قاعدة التعليمات البرمجية.

2. إنشاء فرع

يقوم الوكيل بإنشاء فرع اختبار جديد يسمح له بإجراء اختبارات على التغييرات دون المخاطرة بأي تعطيل لقاعدة التعليمات البرمجية الأساسية.

3. اقتراح تعديل الكود

يقوم الوكيل بتحليل المستودع ويقترح التحسينات المحتملة من خلال عمله التحليلي، والذي يتضمن أربعة مكونات رئيسية.

• تحسينات حلقة التدريب
• تحسينات المعالجة المسبقة لمجموعة البيانات
• تعديلات المعلمة الفائقة
• تعديلات على بنية النماذج

4. التنفيذ الآلي للتجربة

يقوم النظام بالتنفيذ التلقائي للتعليمات البرمجية المعدلة لدعم أنشطة التدريب والاختبار النموذجية. يسجل مقاييس مثل:

• فقدان التحقق من الصحة
• سرعة التدريب
• استغلال الموارد

5. تقييم الأداء

يقوم النظام بإجراء مقارنة مباشرة بين النتائج الحالية والأداء الأساسي المحدد للنموذج. يُظهر الإصدار الجديد أداءً متفوقًا مقارنة بالإصدار السابق، وهو مؤهل كترقية للنظام.

6. الدمج الآلي

يقوم النظام بالدمج التلقائي للتحسينات التي تم التحقق من صحتها في فرع الكود الرئيسي.

7. حلقة البحث المستمر

ينشئ الوكيل دورة بحث دائمة تمكن من تطوير نظام بحث آلي يعزز نفسه من خلال التشغيل المستمر.

يمكن للنظام إنتاج تحسينات متعددة للتعليمات البرمجية تتراوح من العشرات إلى المئات من خلال طريقة التشغيل المستقلة التي لا تتطلب أي اتصال بشري.

الإعداد والتثبيت

يمكن إعداد الإطار لإجراء تجارب بحثية مستقلة محليًا.

1. استنساخ المستودع

git clone https://github.com/karpathy/autoresearch.git 

cd autoresearch

2. تهيئة البيئة

python -m venv venv 

source venv/bin/activate

3. تثبيت التبعيات

pip install -r requirements.txt 

4. تكوين مفاتيح API

export OPENAI_API_KEY="your_api_key_here" 

5. تشغيل العامل المستقل

python main.py 

اختراق تدريب GPT-2 لمدة ساعتين

حقق مشروع Nanochat أهم إنجازاته الأخيرة من خلال تحقيق أوقات تدريب أسرع لنموذج GPT-2. توضح المعلومات التالية وقت التدريب والأجهزة المستخدمة لإكمال المهمة:

• وقت التدريب: ~3 ساعات
• الأجهزة: 8 × وحدات معالجة الرسوميات NVIDIA H100

انخفضت فترة التدريب إلى حوالي ساعتين مع نفس إعداد الأجهزة. يبدو التحسن طفيفًا، لكن أبحاث التعلم الآلي تفيد في دورات تدريبية أسرع لأنها تمكن الباحثين من إكمال التجارب بسرعة أعلى.

يمكن للباحثين اختبار المزيد من الأفكار، والتكرار بشكل أسرع، واكتشاف التحسينات في وقت أقرب. وكانت التحسينات التالية بمثابة المكونات الأساسية التي مكنت من تحقيق هذا الإنجاز:

1. التبديل إلى مجموعة بيانات NVIDIA ClimbMix

نتج تحسين الأداء الأكثر أهمية عن تغيير مجموعة بيانات التدريب. قامت الدراسات البحثية السابقة بتحليل مجموعات البيانات التالية:

وأظهرت تجارب التدريب تراجعات التدريب عند استخدام مجموعات البيانات هذه.

حققت Nanochat نتائج أفضل عندما بدأت في استخدام مجموعة بيانات NVIDIA ClimbMix لأنها كانت تحتاج إلى قدر أقل من أعمال الضبط. تُظهر الدراسة درسًا مهمًا حول تطوير الذكاء الاصطناعي. يمكن أن تكون جودة البيانات ذات أهمية بقدر أهمية بنية النموذج.

سيؤدي الاختيار الصحيح لمجموعة البيانات إلى تقدم كبير في كفاءة التدريب ونتائج اختبار النموذج.

2. التدريب الدقيق FP8

سمح الإنجاز الأمثل الثاني بتنفيذ التدريب الدقيق على FP8 داخل النظام. تسمح FP8 (النقطة العائمة 8 بت) لوحدات معالجة الرسومات بإجراء العمليات الحسابية بشكل أسرع مع الحفاظ على الدقة الكافية لتدريب الشبكة العصبية.

• مزايا تدريب FP8 تجلب الفوائد التالية للمستخدمين:
• يقوم النظام بإجراء حسابات الموتر بسرعات أعلى.
• يتطلب النظام نطاقًا تردديًا أقل للذاكرة لعملياته.
• يحقق النظام أداء إخراج أفضل من وحدة معالجة الرسومات الخاصة به.
• يوفر النظام للمؤسسات التعليمية نفقات تدريب أكثر بأسعار معقولة.

تتضمن الطريقة الأكثر فعالية لتعزيز الأداء في أعباء عمل الذكاء الاصطناعي الواسعة تحديد مستويات الدقة التي توفر النتائج المثلى.

3. تحسين خطوط أنابيب التدريب

تلقى مسار التدريب الخاص بـ Nanochat تحسينات متعددة تتجاوز تعديلات مجموعة البيانات وتحسين FP8. تلقى النظام ترقيات متعددة تضمنت خطوط أنابيب أفضل لتحميل البيانات وحلقات تدريب محسنة وتحسين استخدام وحدة معالجة الرسومات وجدولة الدفعات المحسّنة.

أدى الجمع بين تحسينات الأداء الصغيرة من كل تحسين فردي إلى انخفاض ملحوظ في مدة التدريب.

يقوم وكلاء الذكاء الاصطناعي الآن بتحسين تقنية Nanochat

لقد وصل نظام Nanochat البيئي إلى أكثر مراحله إثارة لأن وكلاء الذكاء الاصطناعي يعملون على تعزيز تطوير المشروع من خلال ترقيات المشروع التلقائية. أنشأ Karpathy نظام اختبار يمكّن وكلاء الذكاء الاصطناعي من تطوير قاعدة التعليمات البرمجية من خلال الاختبار الآلي بدلاً من إجراء اختبارات يدوية للتحسينات.

يتم سير العمل من خلال الخطوات الأساسية التالية:

• يقوم الوكيل بإنشاء فرع ميزة جديد.
• يقترح الوكيل التغييرات وتحسينات الأداء.
• يقوم النظام بإجراء التجارب بطريقة آلية.
• يقوم النظام بدمج التحديثات عندما تؤدي التعديلات إلى نتائج أفضل.

أنتج النظام مخرجاته خلال 12 ساعة والتي تضمنت:

• 110 تعديلات على الكود
• قام النظام بتقليل فقدان التحقق من الصحة 0.862415 إلى 0.858039
• حافظ النظام على وقت التدريب الحالي

يقوم النظام بإنشاء عملية اختبار مستمرة تسمح بالتنفيذ السريع لنتائج الاختبار التي تؤدي إلى ترقيات النظام. يعمل النظام ككيان بحثي يعمل على عملية التطوير الخاصة به.

مستقبل الذكاء الاصطناعي مفتوح المصدر

تعد Nanochat أيضًا جزءًا من حركة أوسع نحو البنية التحتية مفتوحة المصدر للذكاء الاصطناعي. يقوم المطورون من مختلف البلدان بإنشاء وتعزيز أنظمة الذكاء الاصطناعي من خلال جهودهم التعاونية التي لا تعتمد على مختبرات الشركات الكبرى. توفر مشاريع LLM مفتوحة المصدر العديد من الفوائد:

• شفافية تطوير الذكاء الاصطناعي
• يتيح التعاون المجتمعي ابتكارًا أسرع
• يجد الباحثون الجدد أنه من الأسهل دخول هذا المجال

ستمكن التطورات القادمة في الأجهزة وتحسينات خطوط التدريب الفرق الصغيرة من مطابقة قدرات مختبرات الذكاء الاصطناعي الرئيسية.

سيشهد النظام البيئي للذكاء الاصطناعي انفجارًا في الإبداع والتجريب بسبب هذا التطور.

خاتمة

يثبت الإنجاز الأخير لـ Nanochat أن تطوير الذكاء الاصطناعي قد وصل إلى وتيرة تقدم متسارعة. إن القدرة على تدريب نموذج قدرة GPT-2 في غضون ساعتين باستخدام تكنولوجيا الكمبيوتر الحالية تعتبر إنجازًا رائعًا.

ينبع التقدم الأكثر أهمية في التكنولوجيا من تطوير عوامل الذكاء الاصطناعي التي تمتلك القدرة على إجراء تحسينات على النظام دون تدخل بشري. إن حلقات البحث المستقلة الموجودة الآن في حالتها الحالية ستمكن الباحثين من تطوير برامج بحثية ستنتج نتائج كبيرة.

سؤال متكرر