Wenn RAG schlecht arbeitet, liegt es meist nicht am Modell, sondern daran, wie die Dokumente geteilt wurden. Dieser Schritt ist der entscheidendste Teil der Qualität.
01. Abschnittsgröße
Üblich sind 256 bis 1024 Token mit etwas Überlappung. Zu klein verliert den Zusammenhang, zu groß zieht irrelevanten Text in die Antwort.
02. Eltern-Kind-Ansatz
Gute Praxis heute: mit kleinen Abschnitten suchen, dem Modell aber den größeren Abschnitt senden, in dem der Treffer liegt. Man erhält präzise Treffer und ausreichenden Zusammenhang.
03. Struktur achten
Statt blind nach Zeichenzahl zu schneiden, teilen Sie an Überschriften, Klauseln und Tabellengrenzen. Bei Verträgen und Verfahrensdokumenten hebt allein das die Trefferqualität spürbar.
04. Tabellen und Anlagen
Tabellen verlieren ihre Bedeutung, wenn sie zu Fließtext werden. Sie müssen zeilenweise gedeutet und in Text überführt oder getrennt behandelt werden. Sonst irrt das System bei Zahlenfragen fortwährend.
05. Das Einbettungsmodell
Bei türkischen Inhalten zählt die Wahl. Mehrsprachige Modelle liefern meist gute Ergebnisse, entscheiden Sie aber nicht ohne Test auf eigenen Dokumenten. Wechselt das Modell, muss das gesamte Archiv neu verarbeitet werden.
06. Metadaten
Versehen Sie jeden Abschnitt mit Quelldokument, Kapitel, Datum und Zugriffskennzeichen. Filterung, Quellenangabe und Berechtigung laufen über diese Felder.