"İyi çalışıyor gibi" bir ölçüm değil. RAG sistemleri sessizce bozulduğu için ölçüm olmadan üretime çıkmak risk taşıyor.
01. İki Ayrı Ölçüm
Arama kalitesi ve cevap kalitesi ayrı ölçülmeli. Doğru belge bulunmuyorsa sorun aramada; belge bulunuyor ama cevap yanlışsa sorun istemde ya da modelde.
02. Soru Seti Kurmak
Gerçek kullanıcılardan gelen elli ile yüz soruyu, beklenen cevaplarıyla birlikte toplayın. Bu set sisteminizin sınav kâğıdı olur ve her değişiklikten sonra tekrar çalıştırılır.
03. Dayanaklılık
Cevaptaki her iddia getirilen belgelerde var mı? Bu kontrol, uydurma cevabı yakalamanın en pratik yolu. Modelin kendi genel bilgisinden konuşması kurumsal ortamda kabul edilemez.
04. Kapsam Dışını Bilmek
Sistem cevabını bilmediği soruda bunu söyleyebiliyor mu? Her soruya cevap üreten bir sistem, kullanıcı güvenini ilk yanlış cevapta kaybediyor.
05. Gerileme Testi
Belge eklendiğinde, model değiştiğinde ya da istem güncellendiğinde aynı set yeniden çalıştırılmalı. İyileştirme sanılan değişikliklerin bir kısmı başka yerde bozuyor.
06. Üretimde İzleme
Kullanıcıların olumsuz geri bildirim verdiği cevapları toplayın ve düzenli inceleyin. En değerli test verisi buradan geliyor.