Jede Aufgabe dem stärksten Modell zu geben ist, als druckte man jede Notiz auf das teuerste Papier. Es funktioniert, ist aber unnötig.
01. Aufgaben einteilen
Drei grobe Stufen genügen: mechanische Arbeit (Klassifizieren, Etikettieren, Formatwechsel), mittlere Arbeit (Zusammenfassen, Entwürfe) und schwere Arbeit (mehrstufiges Schließen, Code, Analyse). Diese drei verlangen verschiedene Modellklassen.
02. Wo ein kleines Modell reicht
Eine eingehende Anfrage einordnen, übersetzen, Felder aus Freitext ziehen. Kleine schnelle Modelle kommen hier großen nahe, zu einem Bruchteil der Kosten.
03. Wo ein großes Modell nötig ist
Widersprüchliche Angaben auflösen, einen langen Vertrag auslegen, einen mehrstufigen Plan bauen. Hier sind die Fehler des kleinen Modells still: Die Antwort wirkt plausibel und ist falsch.
04. Routing
Ein einfacher Verteiler kann zuerst das günstige Modell fragen und bei geringer Sicherheit hochstufen. In Abläufen mit hohem Volumen senkt das allein die Kosten spürbar.
05. Die Falle des Kontextfensters
Ein großes Kontextfenster ist keine Einladung, alles hineinzuwerfen. Irrelevanter Text senkt die Genauigkeit und erhöht die Kosten. Richtig ist, die relevante Stelle zu finden und diese zu senden.
06. Nicht ohne Messung wählen
Bauen Sie aus eigenen Daten ein kleines Prüfset mit 50 bis 100 Beispielen. Wenn ein Modellwechsel ansteht, liefert dieses Set eine Messung statt einer Vermutung.