تقييم المسترد (Retriever)

تقييم المسترد (Retriever Evaluation)

خدمة تقييم المسترد

باستخدام هذه الأداة، يتم قياس نتائج الاسترجاع (Retrieve) في عملية RAG (التوليد المعزز بالاسترجاع).

آلية العمل

في هذه الأداة، يتم تخزين أفضل 10 نتائج لكل استعلام (كويري). ثم يتم تقييم نتائج الاسترجاع من نظام RAG بإحدى طريقتين:

1. التدوين بواسطة خبير بشري: يقوم خبير بشري بمراجعة النتائج وتحديد مدى صلتها بالاستعلام
2. التدوين بواسطة LLM: يقوم نموذج لغة كبير (LLM) بدور المقيم ويقيّم النتائج

مخرجات التقييم

تحدد هذه الأداة مدى ارتباط وقرب المحتويات المسترجعة من الاستعلام المستهدف.

التطبيقات

• تقييم جودة أنظمة RAG: تقييم أداء مكون الاسترجاع في أنظمة التوليد المعزز بالاسترجاع
• تحسين الاسترجاع: تحديد نقاط الضعف في عملية الاسترجاع للتحسين
• مقارنة الطرق المختلفة: تقييم ومقارنة خوارزميات وطرق الاسترجاع المختلفة
• التحقق من صحة النتائج: ضمان صلة المحتوى المسترجع باستعلام المستخدم

الفوائد

• تقييم تلقائي باستخدام LLM أو تقييم دقيق باستخدام خبراء بشريين
• تخزين أفضل 10 نتائج لكل استعلام
• تحديد مدى ارتباط وقرب المحتوى من الاستعلام
• تحسين مستمر لجودة الاسترجاع في أنظمة RAG