Déboguer une application classique consiste à reproduire le même défaut avec la même entrée. Dans les systèmes d'agents, cette garantie disparaît et l'approche de supervision doit changer avec elle.
01. Trace d'exécution
Une trace complète est nécessaire pour chaque exécution : quelle consigne est partie, ce que le modèle a renvoyé, quel outil a été appelé avec quels paramètres, ce qui est revenu. Sans cet enregistrement, analyser un défaut est impossible.
02. Visibilité par étape
Si l'agent a franchi plusieurs étapes, chacune doit apparaître séparément. Un unique enregistrement "échec" ne dit ni à quelle étape ni pourquoi.
03. La difficulté multi-agents
Quand des dizaines d'agents spécialisés tournent en parallèle et en séquence, une supervision conçue pour un seul agent ne suffit plus. Qui a déclenché qui et comment se répartit le coût total demandent un suivi propre.
04. Indicateurs à suivre
Étapes par exécution, coût en jetons, durée, taux d'erreur des outils, taux d'intervention humaine et taux d'achèvement. Ne regarder que le nombre d'erreurs induit en erreur.
05. Échec silencieux
Le cas le plus dangereux est l'agent qui fait la mauvaise chose sans lever d'erreur. On l'attrape par des contrôles automatiques de la sortie et une relecture humaine par échantillonnage.
06. Seuils d'alerte
Posez des alertes quand le nombre moyen d'étapes ou le coût bondit. C'est souvent le premier signe d'un changement de consigne ou d'un outil cassé.