ارزیابی بازیابی

سرویس ارزیابی بازیابی

به کمک این ابزار، نتایج بازیابی (Retrieve) در فرآیند RAG (تولید با بازیابی اطلاعات) سنجیده می‌شود.

نحوه عملکرد

در این ابزار، به ازای هر کوئری (پرسش)، ۱۰ نتیجه برتر ذخیره می‌گردد. سپس ثبت و ارزیابی نتایج بازیابی شده توسط سیستم RAG به یکی از دو روش زیر انجام می‌شود:

1. ثبت توسط متخصص انسانی: یک متخصص انسانی نتایج را بررسی کرده و میزان ارتباط آن‌ها را با کوئری تعیین می‌کند
2. ثبت توسط یک LLM: یک مدل بزرگ زبانی به عنوان ارزیاب عمل کرده و نتایج را می‌سنجد

خروجی ارزیابی

این ابزار تعیین می‌کند که محتواهای بازیابی شده تا چه حد به کوئری مورد نظر مرتبط و نزدیک هستند.

کاربردها

• سنجش کیفیت سیستم‌های RAG: ارزیابی عملکرد مؤلفه بازیابی در سیستم‌های تولید با بازیابی اطلاعات
• بهبود بازیابی: شناسایی نقاط ضعف در فرآیند بازیابی برای بهینه‌سازی
• مقایسه روش‌های مختلف: ارزیابی و مقایسه الگوریتم‌ها و روش‌های مختلف بازیابی
• اعتبارسنجی نتایج: اطمینان از ارتباط محتوای بازیابی شده با پرسش کاربر

مزایا

• ارزیابی خودکار با استفاده از LLM یا دقیق با متخصص انسانی
• ذخیره‌سازی نتایج برتر (Top-10) برای هر کوئری
• تعیین میزان ارتباط و نزدیکی محتوا به کوئری
• بهبود مستمر کیفیت بازیابی در سامانه‌های RAG