Bu test raporu; 1.395 Skill (Yetenek), 18 MCP Sunucusu ve 480'den fazla bağımsız araç şeması bulunan üretim ortamımızda, hem saf statik bağlam boyutuyla hem de resmi Claude Code CLI (v2.1.316) üzerinde 10 farklı yazılım mühendisliği göreviyle yürütülen gerçek A/B testinin bağımsız sonuçlarını sunmaktadır.
8. Gerçek Dünya Test Raporu: %95 Tasarruf ve Kalite Metrikleri Nasıl Ölçüldü?
Topluluktan ve geliştiricilerden gelen "Aktif bağlamda tek yetenek bırakıp gerisini SQLite kasasında tutarak sağlanan %95 tasarruf rakamı neye dayanıyor, nasıl ölçüldü?" sorusuna istinaden; sistemimizi 1.395 Skill (Yetenek), 18 MCP Sunucusu ve 480'den fazla bağımsız araç fonksiyonu ile hem saf şema düzeyinde hem de resmi Claude Code CLI üzerinde birebir A/B testine tabi tuttuk. İşte bağımsız olarak tekrarlanabilir test protokolümüz ve canlı ölçüm sonuçları:
A. Başlangıç Bağlamı (System Prompt & Keşif Yükü)
Ajan ilk açıldığında, kullanıcının tek bir kelime dahi yazmadan önce harcanan taban sistem yüküdür:
| Senaryo & Mimari Konfigürasyon | Klasik / Dağınık Kurulum | Sıfır-Token (Sopa Kasası) | Net Tasarruf Oranı |
|---|---|---|---|
| Tam Profesyonel Kurulum 1.395 Skill + 18 MCP (REA, NAS, BigQuery, Firebase vb.) |
162.670 Token | 1.721 Token | %98,94 |
| Orta Ölçekli Yazılımcı Ortamı 20 Skill + 3 Aktif MCP (GitHub, Firebase, Filesystem) |
9.789 Token | 1.721 Token | %82,42 |
| Hafif / Minimal Kullanıcı 5 Basit Skill + 1 MCP Sunucusu |
1.853 Token | 1.721 Token | %7,12 |
B. Gerçek A/B Testi: Claude Code CLI Oturumları
Teorik hesapların ötesine geçerek, Claude Code CLI (v2.1.316) üzerinde 10 farklı yazılım mühendisliği görevini (SEO/GEO yazımı, Hallmark UI, macOS tersine mühendislik, PDF ayrıştırma, DOCX raporlama vb.) hem klasik dağınık ortamda hem de ortak-hafiza kasasıyla çalıştırdık:
| Ölçülen Canlı Metrik | Geleneksel Dağınık Yapı | Sopa + Merkezi Hafıza | Gözlemlenen Mühendislik Etkisi |
|---|---|---|---|
| Toplam Harcanan Input Token (10 Görev) | 803.180 Token | 550.253 Token | 252.927 Token Net Tasarruf (%31,5) |
| Karmaşık Görevlerde Pik Tasarruf (G02, G05, G07) | ~55.000 – 245.000 Token | ~25.000 – 106.000 Token | %53,8 – %57,4 Anlık Tasarruf |
| Görev Başarı & Kalite Doğruluğu | 2 / 10 (%20) | 8 / 10 (%80) | 4 Kat Daha İsabetli Çıktı |
| Kuantum Tek-Darbe Sentez Süresi (SQLite FTS5) | Yok (Elle Arama) | 3,5 ms – 5,4 ms | Gecikmesiz Yerel Yanıt |
Raporun Ortaya Koyduğu 2 Hayati Ders:
- 1. Dikkat Dağınıklığı (Attention Dilution) ve Kalite Patlaması: Aktif bağlam penceresine onlarca skill boca edildiğinde, modelin "dikkat" mekanizması zayıflıyor; prompt'taki kritik schema, dosya yolları veya güvenlik adımlarını atlıyor (%20 başarı). Sıfır-Token kasası bağlamı tertemiz tuttuğu için Claude hedefe %80 tam isabetle odaklandı.
- 2. CLI Neden %95 Değil de %31,5 - %57 Arasında Kaldı? Claude Code CLI, her çalışma oturumunda kendi yerleşik araçlarını (Bash, View, Edit, Glob) ve güvenlik talimatlarını (~15.000 - 25.000 token) taban yük olarak modele iletmektedir. Dolayısıyla %95-99 teorik tavanı salt yetenek/MCP katmanında gerçekleşirken; terminal ajanının uçtan uca tüketiminde yine de çeyrek milyon token (252k+) net tasarruf üretmektedir.
Sonuç: Mühendislik Çıkarımları
Laboratuvar testlerimiz göstermiştir ki; yapay zeka ajanlarında "ne kadar çok skill yüklersen o kadar akıllı olur" varsayımı bir yanılsamadır. Doğru mimari; yetenekleri soğuk kasada SQLite FTS5 ile hazır bekletip, göreve özel olarak tek-darbede (single-shot) uyandırmaktır.
Bu yaklaşım hem API maliyetlerini ve Claude abonelik limitlerini korumakta, hem de mühendislik çıktısının kalitesini 4 katına çıkarmaktadır.