LLM-Kosten sind im Pilot unsichtbar und fallen im Betrieb plötzlich auf. Der Grund ist einfach: hundert Aufrufe im Pilot, hunderttausend im Betrieb.
01. Woher die Kosten kommen
Bezahlt wird je gesendetem und empfangenem Token. Lange Eingaben, lange Dokumente und lange Antworten landen direkt auf der Rechnung. Zwei Entwürfe derselben Aufgabe können um das Fünffache auseinanderliegen.
02. Die Eingabe kürzen
Die bei jedem Aufruf mitgesendeten festen Anweisungen wachsen mit der Zeit. Sie regelmäßig zu prüfen und Überflüssiges zu streichen ist bei Volumen unmittelbare Ersparnis.
03. Zwischenspeicher
Wiederholen sich gleiche oder ähnliche Fragen, speichern Sie die Antwort. Auch das von Anbietern angebotene Zwischenspeichern der festen Systemanweisung senkt die Kosten wiederkehrender Eingaben.
04. Vorfilterung
Ein regelbasierter Filter vor dem Modell verringert die Zahl der verarbeiteten Datensätze drastisch. In Abläufen zur Dokumentklassifikation ist das meist der Schritt mit dem höchsten Ertrag.
05. Ausgabe begrenzen
Begrenzen Sie die Antwortlänge und fordern Sie strukturierte Ausgabe. Freitext ist teuer und im nächsten Schritt schwer auszuwerten.
06. Messen und warnen
Rechnen Sie Kosten je Arbeitseinheit: je Dokument, je Anfrage. Stückkosten statt Monatssumme zu verfolgen trennt einen Anstieg vom bloßen Mengenwachstum. Richten Sie eine Warnung an der Budgetschwelle ein.