Le coût d'un LLM est invisible en phase pilote et saute aux yeux en production. La raison est simple : cent appels en pilote, cent mille en production.
01. D'où vient le coût
On paie au jeton envoyé et reçu. Consignes longues, documents longs et réponses longues atterrissent directement sur la facture. Deux conceptions du même travail peuvent différer d'un facteur cinq.
02. Raccourcir la consigne
Les instructions fixes envoyées à chaque appel enflent avec le temps. Les relire régulièrement et couper l'inutile est une économie directe dès qu'il y a du volume.
03. Cache
Si des questions identiques ou proches reviennent, stockez la réponse. Le cache de consigne proposé par les fournisseurs pour la partie fixe réduit aussi le coût des entrées répétées.
04. Préfiltrage
Placer un filtre à règles avant le modèle réduit fortement le nombre d'enregistrements traités. Dans les flux de classification documentaire, c'est souvent l'étape au meilleur rendement.
05. Borner la sortie
Limitez la longueur de la réponse et demandez une sortie structurée. Le texte libre est coûteux et difficile à exploiter à l'étape suivante.
06. Mesurer et alerter
Calculez le coût par unité de travail : par document, par demande. Suivre le coût unitaire plutôt qu'un total mensuel permet de distinguer une hausse d'une simple croissance du volume. Posez une alerte au seuil budgétaire.