Offene Modelle sind der Weg, KI zu nutzen, ohne dass Daten das Haus verlassen. Dafür geht die Infrastrukturverantwortung an Sie über.
01. Wann es sinnvoll ist
In drei Fällen: wenn Daten unter keinen Umständen hinausdürfen, wenn das Volumen so hoch ist, dass die Kosten je Dokument dominieren, oder wenn Sie das Modell tief anpassen müssen.
02. Wann nicht
Für ein Unternehmen mit einigen tausend Aufrufen im Monat ist Self-Hosting fast immer teurer. GPU-Miete, Betriebszeit und Aktualisierungsaufwand übersteigen die Rechnung des geschlossenen Modells.
03. Hardware
Die Modellgröße bestimmt den Speicher. Mittlere Modelle laufen auf einer starken GPU, große verlangen mehrere. Reicht der Speicher nicht, läuft das Modell zwar, wird aber langsam und ruiniert die Nutzererfahrung.
04. Die Betriebsschicht
Das Modell laufen zu lassen genügt nicht; es braucht eine Schicht, die Anfragen einreiht, bündelt und skaliert. Ohne sie stockt das System bei gleichzeitigen Nutzern.
05. Aktualisierung
Das Ökosystem offener Modelle bewegt sich schnell. Was vor sechs Monaten gut war, kann heute mittelmäßig sein. Eine Abstraktionsschicht für einfache Modellwechsel gehört von Anfang an dazu.
06. Der gemischte Ansatz
Verbreitet ist beides zugleich: sensible Daten im eigenen Modell, allgemeine Arbeit im geschlossenen. Ist die Anwendung auf Austauschbarkeit ausgelegt, wird der Wechsel zur Konfigurationsfrage.