Sprachmodelle können in sicherem Ton falsch antworten. Im Unternehmen ist das eigentliche Risiko nicht die falsche Antwort, sondern dass sie niemandem auffällt.
01. Halluzination
Ein Modell kann erfinden, was es nicht weiß. Die wirksamste Gegenmaßnahme ist, die Antwort auf ein Dokument zu stützen und die Quelle zu zeigen. Eine Antwort ohne Quellenangabe sollte im Unternehmen nicht akzeptiert werden.
02. Verzerrung
Tendenzen in den Trainingsdaten können in die Ausgabe geraten. In Personal-, Kredit- und Kundenbewertung ist das unmittelbares Rechtsrisiko. Die Konsistenz der Ausgaben über Gruppen hinweg gehört regelmäßig gemessen.
03. Stille Abweichung
Aktualisiert der Anbieter das Modell, kann sich das Verhalten ohne Ankündigung ändern. Ein festes Prüfset regelmäßig laufen zu lassen ist der einzige praktikable Weg, Abweichung früh zu bemerken.
04. Übermäßiges Vertrauen
Nach einer Weile hören Nutzer auf, die Ausgabe zu prüfen. Unsicherheit in der Oberfläche sichtbar zu machen und in kritischen Feldern einen Prüfschritt zu erzwingen wirkt dem entgegen.
05. Eingabemanipulation
Von außen kommender Text kann Inhalte tragen, die für das Modell wie Anweisungen wirken. Systeme, die Nutzerdokumente oder Webinhalte verarbeiten, müssen darauf getestet werden.
06. Abnahmekriterium
Definieren Sie eine Zahlenschwelle, ab der eine KI-Funktion produktiv gehen darf. Veröffentlichungen ohne definiertes "gut genug" lassen sich später schwer zurücknehmen.