"ChatGPT şirketimizi tanımıyor, bize göre öğretmek istiyoruz." Bu cümlenin doğru cevabı çoğu zaman "modeli eğitmek" değil, "modele belge okutmak"tır. Bu yaklaşımın adı RAG — Retrieval-Augmented Generation. Bu yazıda RAG mimarisini pratik olarak açıklayacağız.
01. RAG Nedir? Model Eğitiminden Farkı
Model eğitmek (fine-tuning) pahalı, uzun süreli ve her belge güncellemesinde tekrarlanmalı bir süreçtir. RAG ise şu prensiple çalışır:
- Kullanıcı soruyu sorar
- Sistem, ilgili şirket dokümanlarını arar
- Bulunan dokümanları modele "context" olarak verir
- Model, sadece bu context'e dayanarak cevap yazar
Model eğitilmez; sadece doğru belgeyi doğru zamanda okur.
02. Vektör Veri Tabanı: Kalp Buradadır
RAG'ın merkezinde vektör veri tabanı vardır. Şirket dokümanları küçük parçalara (chunks) bölünür, her parça matematiksel bir vektöre dönüştürülür ve veritabanında saklanır.
Kullanıcı soru sorunca, sorunun kendisi de vektöre dönüşür ve en yakın belgelere ulaşılır. Bunun için Pinecone, Weaviate, PostgreSQL + pgvector gibi araçlar kullanılır.
03. Belge Hazırlığı: Zor Olan Kısım
RAG'ın kalite anahtarı belge hazırlığındadır. Sıkıntılar:
- PDF'ler tablolar ve resimler içeriyor
- Sözleşmeler dilbilgisel olarak zorlanıyor
- Aynı bilgi iki farklı dokümanda çelişebiliyor
- Belge güncellemesi versiyon yönetimi gerektiriyor
İyi bir RAG projesi %70 belge hazırlığı, %30 kod'dur.
04. Güvenlik ve Veri İzolasyonu
Kurumsal RAG'da veriniz dış modele gönderilir mi? Bu sorunun cevabı seçilen sağlayıcıya göre değişir:
- OpenAI Enterprise: verinin eğitime katılmadığına dair sözleşme
- Azure OpenAI: veri Azure tenant'ınızda kalır
- Anthropic API: enterprise plana özel veri sözleşmesi
- Yerinde barındırılan modeller (Llama, Mistral): veri hiç dışarı çıkmaz
Doğru sağlayıcı seçimi, projenin ilk kararıdır.
Yapay Zeka çözümümüzü inceleyin
Detaylı bilgi almak için ücretsiz danışmanlık görüşmesi rezervasyonu yapabilirsiniz.