Los modelos abiertos son la vía para usar IA sin que los datos salgan de casa. A cambio, la responsabilidad de la infraestructura pasa a usted.
01. Cuándo tiene sentido
En tres casos: cuando los datos no pueden salir bajo ninguna condición, cuando el volumen es tan alto que domina el coste por documento, o cuando necesita personalizar el modelo en profundidad.
02. Cuándo no
Para una organización con unos miles de llamadas al mes, autoalojar es casi siempre más caro. El alquiler de GPU, el tiempo de operación y la carga de actualización superan la factura del modelo cerrado.
03. Hardware
El tamaño del modelo determina la memoria. Los modelos medianos pueden correr en una GPU potente; los grandes piden varias. Si falta memoria el modelo funciona pero se ralentiza, y eso arruina la experiencia.
04. La capa de servicio
No basta con ejecutar el modelo; hace falta una capa que encole, agrupe y escale las peticiones. Sin ella el sistema se atasca con usuarios simultáneos.
05. Actualización
El ecosistema de modelos abiertos avanza rápido. Lo que era bueno hace seis meses puede ser mediocre hoy. Una capa de abstracción que facilite cambiar de modelo debe existir desde el principio.
06. El enfoque mixto
La respuesta habitual es usar ambos: datos sensibles en su modelo, trabajo general en el cerrado. Si la aplicación se escribió para permitir el cambio, la transición se vuelve una cuestión de configuración.