Mandar cada tarea al modelo más potente es como imprimir cada nota en el papel más caro. Funciona, pero es innecesario.
01. Clasifique el trabajo
Bastan tres niveles: trabajo mecánico (clasificar, etiquetar, cambiar formato), trabajo medio (resumir, redactar borradores) y trabajo duro (razonamiento en varios pasos, código, análisis). Los tres piden clases de modelo distintas.
02. Dónde basta un modelo pequeño
Encajar una solicitud en una categoría, traducir, extraer campos de texto libre. Los modelos pequeños y rápidos se acercan aquí a los grandes por una fracción del coste.
03. Dónde hace falta uno grande
Resolver información contradictoria, interpretar un contrato largo, construir un plan de varios pasos. Aquí los errores del modelo pequeño son silenciosos: la respuesta parece plausible y es incorrecta.
04. Enrutamiento
Un enrutador sencillo puede consultar primero al modelo barato y escalar cuando la confianza es baja. En flujos de alto volumen eso solo ya reduce el coste de forma notable.
05. La trampa de la ventana de contexto
Una ventana grande no es una invitación a meterlo todo. El texto irrelevante baja la precisión y sube el coste. Lo correcto es encontrar el pasaje relevante y enviarlo.
06. No elija sin medir
Construya un conjunto de evaluación de 50 a 100 ejemplos con sus propios datos. Cuando piense en cambiar de modelo, ese conjunto le da una medición en lugar de una suposición.