Büyük dil modellerinde bağlam penceresi (Context Window) 128K veya 1 milyona çıktığında sunucuları kilitleyen asıl problem model parametreleri değil, bellekte biriken KV Önbelleği (Key-Value Cache) miktarıdır. DeepSeek ekibinin geliştirdiği Multi-Head Latent Attention (MLA), yapay zeka donanım denklemindeki kuralları kökten değiştirdi.
Dikkat Mekanizmaları Karşılaştırma Matrisi (MHA vs GQA vs MLA)
| Mimari Türü | Kullanılan Modeller | Token Başına KV Bellek Yükü | 128K Bağlamda VRAM İhtiyacı |
|---|---|---|---|
| MHA (Multi-Head Attention) | GPT-3, Orijinal Llama | Tam Boyut (1.0x - Referans) | ~60–75 GB VRAM (Tek İstek) |
| GQA (Grouped-Query Attention) | Llama 3, Mistral, Qwen 2.5 | %12.5 (8 grupta sıkıştırma) | ~8–10 GB VRAM |
| MLA (Multi-Head Latent Attention) | DeepSeek-V2, V3, R1 | %6.7 (%93.3 Bellek Tasarrufu) | Yalnızca ~4–5 GB VRAM |
MLA Nasıl Çalışır?: Düşük Boyutlu Gizil Sıkıştırma
Standart modeller her dikkat başlığı için ayrı Key ve Value matrisleri saklarken; MLA matrisleri önce çok küçük bir gizil vektöre (Low-Rank Compression) sıkıştırır, işlem anında anlık olarak açar. Bu sayede 671 milyar parametreli DeepSeek-V3, rakiplerinin onda biri kadar GPU kümesinde saniyede 60+ token hızla çalışabilmektedir.