"Scheint zu funktionieren" ist keine Messung. RAG-Systeme verschlechtern sich still, deshalb birgt ein Produktivgang ohne Messung Risiko.
01. Zwei getrennte Messungen
Suchqualität und Antwortqualität sind getrennt zu messen. Wird das richtige Dokument nicht gefunden, liegt es an der Suche; wird es gefunden und die Antwort ist falsch, an Eingabe oder Modell.
02. Einen Fragensatz aufbauen
Sammeln Sie fünfzig bis hundert echte Nutzerfragen samt erwarteter Antworten. Dieser Satz wird zum Prüfungsbogen und läuft nach jeder Änderung erneut.
03. Belegbarkeit
Steht jede Aussage der Antwort in den gefundenen Dokumenten? Diese Prüfung ist der praktischste Weg, erfundene Antworten zu fangen. Dass das Modell aus eigenem Allgemeinwissen spricht, ist im Unternehmen nicht hinnehmbar.
04. Grenzen kennen
Kann das System sagen, dass es etwas nicht weiß? Ein System, das auf jede Frage eine Antwort erzeugt, verliert das Vertrauen bei der ersten falschen.
05. Regressionstest
Kommen Dokumente hinzu, wechselt das Modell oder ändert sich die Eingabe, muss derselbe Satz erneut laufen. Manche vermeintliche Verbesserung bricht an anderer Stelle.
06. Überwachung im Betrieb
Sammeln Sie die von Nutzern negativ bewerteten Antworten und prüfen Sie sie regelmäßig. Die wertvollsten Testdaten entstehen dort.