Los modelos de lenguaje pueden dar una respuesta errónea con tono seguro. En la empresa el riesgo real no es la respuesta errónea sino que nadie la advierta.
01. Alucinación
Un modelo puede inventar lo que no sabe. El control más eficaz es anclar la respuesta en un documento y mostrar la fuente. Una respuesta que no puede citar fuente no debería aceptarse en uso corporativo.
02. Sesgo
Las tendencias de los datos de entrenamiento pueden aflorar en la salida. En recursos humanos, crédito y evaluación de clientes eso es exposición legal directa. La consistencia de las salidas entre grupos debe medirse con regularidad.
03. Deriva silenciosa
Cuando el proveedor actualiza el modelo, el comportamiento puede cambiar sin aviso. Ejecutar con regularidad un conjunto de evaluación fijo es la única vía práctica de detectar la deriva a tiempo.
04. Exceso de confianza
Pasado un tiempo, los usuarios dejan de comprobar la salida. Hacer visible la incertidumbre en la interfaz y exigir un paso de comprobación en campos críticos equilibra ese hábito.
05. Manipulación de instrucciones
El texto que llega de fuera puede contener contenido que actúa como instrucción para el modelo. Los sistemas que procesan documentos de usuario o contenido web deben probarse para esto.
06. Criterio de aceptación
Defina un umbral numérico para que una función de IA salga a producción. Las publicaciones sin definir el "suficientemente bueno" son difíciles de revertir cuando algo falla.