شناسایی توهم‌زایی در RAG از طریق تفسیرپذیری مکانیستی

مسئله توهم‌زایی

مدل‌های زبانی بزرگ گاهی پاسخ‌هایی تولید می‌کنند که در منابع بازیابی‌شده وجود ندارد. در سامانه‌های پرسش و پاسخ دینی، این مسئله می‌تواند اعتبار پاسخ را به‌کلی از بین ببرد.

رویکرد تفسیرپذیری مکانیستی

با تحلیل جریان اطلاعات در لایه‌های مدل می‌توان تشخیص داد پاسخ تولیدشده از متن بازیابی‌شده (Context) گرفته شده یا از دانش داخلی مدل. این تمایز پایه‌ی شناسایی توهم‌زایی است.

اهمیت برای محصولات همتا

در سامانه‌هایی مانند حدیثا و پارسا، اطمینان از استناد پاسخ به منابع معتبر یک الزام است؛ از همین‌رو این خط پژوهشی به‌صورت جدی دنبال می‌شود.