In einer klassischen Anwendung heißt Fehlersuche, denselben Fehler mit derselben Eingabe erneut zu erzeugen. In Agentensystemen fehlt diese Garantie, und die Überwachung muss sich mitändern.
01. Ablaufaufzeichnung
Für jeden Lauf ist eine vollständige Aufzeichnung nötig: welche Eingabe ging hinaus, was gab das Modell zurück, welches Werkzeug wurde mit welchen Parametern aufgerufen, was kam zurück. Ohne sie ist eine Fehleranalyse unmöglich.
02. Sichtbarkeit je Schritt
Hat der Agent mehrere Schritte gemacht, muss jeder einzeln sichtbar sein. Ein einzelner Eintrag "fehlgeschlagen" sagt nicht, in welchem Schritt und warum.
03. Die Schwierigkeit bei vielen Agenten
Laufen Dutzende Spezialagenten parallel und nacheinander, reicht eine für einen Agenten entworfene Überwachung nicht. Wer wen ausgelöst hat und wie sich die Gesamtkosten verteilen, braucht eigene Verfolgung.
04. Zu beobachtende Kennzahlen
Schritte je Lauf, Tokenkosten, Dauer, Werkzeugfehlerquote, Quote menschlicher Eingriffe und Erledigungsquote. Nur auf Fehlerzahlen zu schauen führt in die Irre.
05. Stiller Fehlschlag
Am gefährlichsten ist, wenn der Agent ohne Fehlermeldung das Falsche tut. Das fängt man mit automatischen Prüfungen der Ausgabe und regelmäßiger stichprobenartiger Durchsicht.
06. Warnschwellen
Richten Sie Warnungen ein, wenn die durchschnittliche Schrittzahl oder die Kosten springen. Das ist meist das erste Zeichen einer Eingabeänderung oder eines defekten Werkzeugs.