تطبيقات RAG الجاهزة للإنتاج بدون كود

أصبحت تقنية الاسترجاع المعزز (RAG) على الفور تقريبًا هي المعيار في التطبيقات الذكية. كان هذا نتيجة للتطور السريع في مجال الذكاء الاصطناعي الذي يجمع بين نماذج اللغة الكبيرة وقواعد المعرفة الخارجية وطرق الوصول المختلفة في الوقت الفعلي. يفرض تنفيذ RAG من النوع التقليدي صعوبات كبيرة: إعدادات قاعدة بيانات المتجهات المعقدة، ومسارات التضمين المعقدة، وتنسيق البنية التحتية، وضرورة جذب متخصصي DevOps.

فيما يلي بعض العيوب الرئيسية للتطور التقليدي لـ RAG:

• يمكن أن يستغرق إعداد البنية الأساسية وتكوينها أسابيع.
• يمكن أن تكون حلول قواعد بيانات المتجهات مكلفة للغاية.
• هناك حاجة لتكامل أدوات متعددة، مما يخلق التعقيد.
• سيواجه المطورون منحنى تعليمي حاد.
• تظهر التحديات فيما يتعلق بنشر الإنتاج.

تم الآن عرض تقنية تطوير RAG الجديدة جذريًا NyRAG، وهي تقدم كبير في تطوير RAG الذي يبسط العملية برمتها إلى سير عمل بسيط يعتمد على التكوين. بغض النظر عما إذا كنت تقوم بإنشاء روبوتات دعم العملاء التي تدعم الذكاء الاصطناعي، أو أنظمة إدارة المعرفة الداخلية، أو محركات البحث الدلالية، فإن NyRAG سوف يعمل على تسريع رحلتك من الفكرة إلى الإنتاج.

ما هو نيراج؟

NyRAG هو إطار عمل مفتوح المصدر قائم على لغة Python ويعيد تعريف تطوير جيل الاسترجاع المعزز (RAG). إنه يزيل عبء إعداد البنية التحتية المعقدة ويتيح لك طرح روبوتات الدردشة الذكية وأنظمة البحث الدلالي في أي وقت من الأوقات على الإطلاق. في بعض الأحيان، بأسرع ما يمكن خلال دقائق.

الميزات الرئيسية ل NyRAG

• تقنية التكوين بدون كود
• الزحف على شبكة الإنترنت + معالجة المستندات
• نشر Docker المحلي أو Vespa Cloud
• واجهة الدردشة المتكاملة
• بحث هجين مع محرك فيسبا

كيف يعمل NyRAG: خط الأنابيب ذو الخمس مراحل

المرحلة 1: تحسين الاستعلام

في البداية، ينتج نموذج الذكاء الاصطناعي عدة عمليات بحث مختلفة بناءً على سؤالك لتعزيز تغطية الاسترجاع.

المرحلة 2: تضمين الجيل

بعد ذلك، تخضع الاستعلامات للتحول إلى تضمينات متجهة باستخدام نماذج SentenceTransformer.

المرحلة 3: بحث فيسبا

بعد ذلك، يقوم النظام بإجراء عمليات البحث عن الجيران الأقرب على القطع المفهرسة.

المرحلة 4: قطعة الانصهار

وبالتالي، يتم دمج المخرجات وإلغاء تكرارها وترتيبها وفقًا لدرجة ملاءمتها.

المرحلة الخامسة: توليد الإجابات

وأخيرًا، يتم نقل الأجزاء الرئيسية إلى نموذج الذكاء الاصطناعي (من خلال OpenRouter) لإنتاج إجابات مبررة.

الشروع في العمل مع NyRAG

المتطلبات الأساسية لـ NyRAG هي:

• بايثون مع الإصدار 3.10 أو أعلى
• Docker Desktop (إذا كنت تعمل في الوضع المحلي)
• مفتاح OpenRouter API

أوامر تثبيت NyRAG هي:

pip install nyrag

• استخدام أمر الأشعة فوق البنفسجية (مستحسن)

uv pip install -U nyrag

الآن، دعونا نحاول فهم الأوضاع المزدوجة لـ NyRAG، وهي الزحف على الويب ومعالجة المستندات.

وضع الزحف على الويب

• يكرم ملف robots.txt
• النطاقات الفرعية مضمنة بشكل افتراضي
• قوائم استبعاد عناوين URL
• وكلاء المستخدم قابلون للتخصيص (Chrome وFirefox وSafari وMobile)

وضع معالجة المستندات

• يحفظ PDF، DOCX، TXT، تخفيض السعر
• مسح المجلدات بطريقة متكررة
• التصفية على أساس حجم الملف ونوعه
• القدرة على إدارة بنيات المستندات المعقدة

التدريب العملي على المهمة 1: قاعدة المعرفة المستندة إلى الويب

في هذه المهمة، سنقوم بإنشاء روبوت دردشة يجيب على أسئلتنا باستخدام الوثائق الموجودة على موقع الشركة على الويب.

الخطوة 1: تهيئة البيئة

اتبع الأوامر أدناه لإعداد البيئة لنظامك المحلي

mkdir nyrag-website-demo
cd nyrag-website-demo
uv venv
source .venv/bin/activate
uv pip install -U nyrag

الخطوة 2: إنشاء التكوين

باستخدام الملف ‘company_docs_config.yml’، سنحدد التكوينات:

name: company_knowledge_base  

mode: web  

start_loc: https://docs.yourcompany.com/  

exclude:  

- https://docs.yourcompany.com/api-changelog/*  

- https://docs.yourcompany.com/legacy/*  

crawl_params:  

respect_robots_txt: true  

follow_subdomains: true  

aggressive_crawl: false  

user_agent_type: chrome  

rag_params:  

embedding_model: sentence-transformers/all-MiniLM-L6-v2  

embedding_dim: 384  

chunk_size: 1024  

chunk_overlap: 100

الخطوة 3: الزحف والفهرس

باستخدام الأوامر أدناه، سنقوم بالزحف إلى موقع الويب، واستخراج محتوى النص، وتقسيمه إلى أجزاء، وإنشاء التضمينات، والتي يتم فهرستها بعد ذلك في Vespa.

export NYRAG_LOCAL=1
nyrag --config company_docs_config.yml

الخطوة 4: قم بتشغيل واجهة الدردشة

الآن، استخدم الأوامر وقم بتشغيل واجهة الدردشة.

export NYRAG_CONFIG=company_docs_config.yml
export OPENROUTER_API_KEY=your-api-key
export OPENROUTER_MODEL=anthropic/claude-sonnet-4

uvicorn nyrag.api:التطبيق – المضيف 0.0.0.0 – المنفذ 8000

الخطوة 5: اختبار الروبوت الخاص بك

يمكنك تجربة الاستعلامات التالية:

“كيف يمكنني مصادقة طلبات واجهة برمجة التطبيقات؟”

“ما هي حدود المعدل؟”

“شرح عملية تكوين خطاف الويب.”

المقارنة مع الأطر الأخرى

دعونا نقارن NyRAG مع أطر العمل الأخرى لمعرفة ما هو الأنسب لها:

حالات استخدام NyRAG

1. روبوتات دعم العملاء: يتم استخدامه للحصول على استجابات فورية وأكثرها دقة. كما أنه يساعد في خفض عدد تذاكر الدعم.
2. إدارة المعرفة الداخلية: فهو يوفر مقدمة أسرع وأكثر سلاسة للموظفين الجدد ويوفر طريقة للحصول على معلومات حول الموظفين من خلال الأقسام المختلفة.
3. مساعدو البحوث: فهو يساعد الباحثين في البحث عن الوثائق، واستخلاص الأفكار منها، وطرح الأسئلة المتعلقة بالأدبيات الأكاديمية، وتقديم روايات موجزة عن نصوص واسعة النطاق.
4. البحث في وثائق الكود: إنه يزيد من الإنتاجية الإجمالية للمطورين حيث تتم فهرسة الأدلة الافتراضية ومستندات API.

خاتمة

أصبح التقسيم الذي يفصل بين الفكرة وتطبيقات RAG الجاهزة للإنتاج ضعيفًا للغاية. باستخدام NyRAG، فإنك لا تقوم ببساطة بدمج مكتبة؛ أنت تحصل على نظام أساسي كامل لتطوير RAG يدير واجهات الزحف والتضمين والفهرسة والاسترجاع والدردشة بشكل افتراضي.

سواء كنت تقوم بإنشاء أول تطبيق للذكاء الاصطناعي أو توسيع نطاق تطبيقك رقم مائة، فإن NyRAG هي المزود لأساس النجاح. المشكلة ليست ما إذا كان RAG سيغير طلبك. بل هو مدى سرعة قدرتك على إعداده.