Depurar una aplicación clásica es reproducir el mismo fallo con la misma entrada. En los sistemas de agentes esa garantía desaparece, y el enfoque de vigilancia debe cambiar con ella.
01. Registro de traza
Hay que guardar una traza completa de cada ejecución: qué instrucción salió, qué devolvió el modelo, qué herramienta se llamó con qué parámetros y qué llegó de vuelta. Sin ese registro, investigar un fallo es imposible.
02. Visibilidad por paso
Si el agente dio varios pasos, cada uno debe verse aparte. Un único registro de "fallo" no dice en qué paso ocurrió ni por qué.
03. La dificultad multiagente
Cuando decenas de agentes especialistas corren en paralelo y en secuencia, una vigilancia pensada para un solo agente se queda corta. Qué agente disparó a cuál y cómo se reparte el coste total requieren seguimiento propio.
04. Métricas a vigilar
Pasos por ejecución, coste en tokens, duración, tasa de error de herramientas, tasa de intervención humana y tasa de finalización. Mirar solo el número de errores induce a error.
05. Fallo silencioso
El caso más peligroso es que el agente haga lo incorrecto sin lanzar error. Se detecta con comprobaciones automáticas de la salida y revisión humana por muestreo.
06. Umbrales de alerta
Ponga alertas cuando el número medio de pasos o el coste salten. Suele ser la primera señal de un cambio de instrucción o de una herramienta rota.