Envoyer chaque tâche au modèle le plus puissant revient à imprimer chaque note sur le papier le plus cher. Cela fonctionne, mais c'est inutile.
01. Classez les tâches
Trois niveaux suffisent : travail mécanique (classer, étiqueter, reformater), travail intermédiaire (résumer, rédiger) et travail difficile (raisonnement en plusieurs étapes, code, analyse). Ces trois appellent des classes de modèles différentes.
02. Où un petit modèle suffit
Ranger une demande entrante dans une catégorie, traduire, extraire des champs d'un texte libre. Les petits modèles rapides s'approchent ici des grands pour une fraction du coût.
03. Où il en faut un grand
Trancher des informations contradictoires, interpréter un long contrat, bâtir un plan en plusieurs étapes. Là, les erreurs du petit modèle sont silencieuses : la réponse paraît plausible et elle est fausse.
04. Le routage
Un routeur simple peut interroger d'abord le modèle bon marché et escalader quand la confiance est faible. Sur des flux à fort volume, cela seul réduit sensiblement le coût.
05. Le piège de la fenêtre de contexte
Une grande fenêtre n'est pas une invitation à tout y verser. Le texte hors sujet abaisse la précision et augmente le coût. Le bon réflexe est de trouver le passage pertinent et de l'envoyer.
06. Ne choisissez pas sans mesurer
Constituez un jeu d'évaluation de 50 à 100 exemples avec vos données. Au moment d'envisager un changement de modèle, ce jeu fournit une mesure plutôt qu'une intuition.