1. RAG Mimarisinde 1 Milyon Doküman İçin Token ve Maliyet Matematiği
Yapay zeka tabanlı arama ve RAG (Retrieval-Augmented Generation) sistemleri kurarken, en büyük maliyet kalemi embeddings (vektör temsili) üretimi ve bu vektörlerin saklandığı vektör veritabanı altyapısıdır. 1 milyon adet dokümana sahip bir kurumsal yapının bütçelendirilmesi için şu varsayımları baz alıyoruz:
- Toplam Doküman Sayısı: 1.000.000 adet
- Ortalama Doküman Uzunluğu: 1.000 kelime (~1.330 token)
- Chunk (Parça) Boyutu: 500 token (50 token örtüşme - overlap ile)
- Toplam Parça (Chunk) Sayısı: ~2.600.000 adet
2. Embeddings API Fiyatlandırma ve Maliyet Tablosu
Popüler embedding modellerinin 1 milyon token başına maliyetleri ve 2.6 milyon parça için toplam ilk yatırım maliyeti:
| Embedding Modeli | Vektör Boyutu | 1M Token Fiyatı ($) | Toplam Token (~1.3B) | İlk Yatırım Maliyeti ($) |
|---|---|---|---|---|
| text-embedding-3-small | 1536 | $0.02 | 1,300,000,000 | $26.00 |
| text-embedding-3-large | 3072 | $0.13 | 1,300,000,000 | $169.00 |
| Cohere Embed English v3 | 1024 | $0.10 | 1,300,000,000 | $130.00 |
| BGE-M3 (Self-Hosted GPU) | 1024 | $0.00 (Donanım Hariç) | 1,300,000,000 | $0.00 ($120/ay Sunucu) |
3. Vektör Veritabanı Donanım ve Bulut Depolama Maliyetleri
Vektörlerin bellekte (RAM) tutulması sorgu performansını (latency) doğrudan etkiler. 2.6 milyon adet 1536 boyutlu (float32) vektörün RAM hesabı:
Formül: Bellek = Vektör Sayısı × Vektör Boyutu × 4 Bayt (Float32)
2,600,000 × 1536 × 4 = 15,974,400,000 Bayt ≈ 15.9 GB RAM gereksinimi. Bu durum, bulut tabanlı yönetilen vektör veritabanlarında (Pinecone, Qdrant Cloud) aylık yaklaşık $70 - $250 arasında bir sabit altyapı maliyeti yaratır.
4. TL Bazlı Yıllık Bütçe ve Tasarruf Senaryoları
Dolar kuru 35 TL baz alındığında; OpenAI text-embedding-3-small tercih edilirse sadece 910 TL API maliyeti olşurken, text-embedding-3-large modelinde bu rakam 5,915 TL'ye çıkar. Açık kaynak BGE-M3 modeli ile yerel sunucu (A10G GPU) kullanıldığında ise aylık 4,200 TL sunucu maliyetiyle sınırsız güncellemeler yapılabilir.
- Optimizasyon İpucu: Semantik önbellekleme (Semantic Caching) kullanarak aynı veya benzer kullanıcı sorgularının embedding maliyetini %40 oranında sıfırlayabilirsiniz.