'Unternehmens-KI: ChatGPT mit Ihren Firmendaten sprechen lassen (RAG)'

„ChatGPT kennt unser Unternehmen nicht, wir möchten es ihm beibringen.“ Die richtige Antwort auf diesen Satz ist meist nicht „das Modell trainieren“, sondern „das Modell Dokumente lesen lassen“. Dieser Ansatz heißt RAG – Retrieval-Augmented Generation. In diesem Beitrag erklären wir die RAG-Architektur praxisnah.

01. Was ist RAG? Der Unterschied zum Modelltraining

Ein Modell zu trainieren (Fine-Tuning) ist ein teurer, langwieriger und bei jeder Dokumentaktualisierung zu wiederholender Prozess. RAG dagegen arbeitet nach folgendem Prinzip:

1. Der Nutzer stellt die Frage
2. Das System sucht die relevanten Firmendokumente
3. Es gibt die gefundenen Dokumente dem Modell als „Kontext“
4. Das Modell schreibt die Antwort ausschließlich auf Basis dieses Kontexts

Das Modell wird nicht trainiert; es liest nur das richtige Dokument zur richtigen Zeit.

02. Die Vektordatenbank: Hier ist das Herz

Im Zentrum von RAG steht die Vektordatenbank. Die Firmendokumente werden in kleine Teile (Chunks) zerlegt, jedes Teil in einen mathematischen Vektor umgewandelt und in der Datenbank gespeichert.

Stellt der Nutzer eine Frage, wird die Frage selbst ebenfalls in einen Vektor umgewandelt und die nächstgelegenen Dokumente werden erreicht. Dafür werden Werkzeuge wie Pinecone, Weaviate oder PostgreSQL + pgvector verwendet.

03. Die Dokumentvorbereitung: Der schwierige Teil

Der Qualitätsschlüssel von RAG liegt in der Dokumentvorbereitung. Die Schwierigkeiten:

• PDFs enthalten Tabellen und Bilder
• Verträge sind grammatikalisch anspruchsvoll
• Dieselbe Information kann in zwei verschiedenen Dokumenten widersprüchlich sein
• Die Dokumentaktualisierung erfordert eine Versionsverwaltung

Ein gutes RAG-Projekt besteht zu 70 % aus Dokumentvorbereitung und zu 30 % aus Code.

04. Sicherheit und Datenisolation

Werden bei Unternehmens-RAG Ihre Daten an ein externes Modell gesendet? Die Antwort auf diese Frage hängt vom gewählten Anbieter ab:

• OpenAI Enterprise: vertragliche Zusicherung, dass die Daten nicht ins Training einfließen
• Azure OpenAI: die Daten bleiben in Ihrem Azure-Tenant
• Anthropic API: ein eigener Datenvertrag im Enterprise-Plan
• Lokal betriebene Modelle (Llama, Mistral): die Daten verlassen das Haus nie

Die Wahl des richtigen Anbieters ist die erste Entscheidung des Projekts.