Les modèles ouverts sont la voie pour utiliser l'IA sans que les données quittent la maison. En échange, la responsabilité de l'infrastructure vous revient.
01. Quand c'est pertinent
Dans trois cas : quand les données ne peuvent sortir en aucune circonstance, quand le volume est tel que le coût par document domine, ou quand vous devez personnaliser le modèle en profondeur.
02. Quand ça ne l'est pas
Pour une organisation faisant quelques milliers d'appels par mois, l'auto-hébergement coûte presque toujours plus cher. Location de GPU, temps d'exploitation et charge de mise à jour dépassent la facture du modèle fermé.
03. Matériel
La taille du modèle détermine la mémoire. Les modèles moyens tiennent sur un GPU puissant, les grands en demandent plusieurs. Si la mémoire manque, le modèle tourne mais ralentit, ce qui ruine l'expérience.
04. La couche de service
Faire tourner le modèle ne suffit pas ; il faut une couche qui met en file, regroupe et met à l'échelle les requêtes. Sans elle, le système se bloque dès qu'il y a des utilisateurs simultanés.
05. Mises à jour
L'écosystème des modèles ouverts avance vite. Ce qui était bon il y a six mois peut être moyen aujourd'hui. Une couche d'abstraction facilitant le changement de modèle doit exister dès le départ.
06. L'approche mixte
La réponse courante consiste à combiner : données sensibles sur votre modèle, travail général sur le modèle fermé. Si l'application est écrite pour permettre l'échange, la bascule devient une question de configuration.