Bir kullanıcının müşteri destek sistemine yazdığı "Siparişim nerede?" mesajını yönlendirmek veya bir faturadan 3 satırlık JSON verisi çıkarmak için 671 milyar parametreli devasa bir modeli çağırmak, ekmek almaya uçakla gitmeye benzer. Ekim 2026 itibarıyla ABD'deki mühendislik ekiplerinin bir numaralı mimari trendi, devasa genel modeller yerine görev odaklı Küçük Karar Modelleri (Small Decision Models - SDM) kullanmaktır.
Model Kıyaslama: Küçük Karar Modeli (SDM) vs Devasa Frontier LLM
| Kriter | Küçük Karar Modeli (1B – 3B SDM) | Orta Ölçekli Model (7B – 14B) | Devasa Frontier Model (Claude 3.7 / GPT-4o) |
|---|---|---|---|
| Örnek Modeller | Qwen 2.5 (1.5B), Llama 3.2 (1B/3B), SmolLM2 (1.7B) | DeepSeek-R1 (8B/14B), Qwen 2.5 (14B) | Claude 3.7 Sonnet, OpenAI o3, DeepSeek-V3 |
| Yanıt Gecikmesi (TTFT) | 8 – 20 Milisaniye (Anlık) | 60 – 150 Milisaniye | 800 – 3.500 Milisaniye |
| Bellek (VRAM / RAM) Yükü | 0.8 GB – 2.2 GB (Telefonda ve CPU'da çalışır) | 6 GB – 12 GB VRAM | Bulut API veya Çoklu H200 GPU Kümesi |
| 1 Milyon İşlem Maliyeti | ~0.00 $ (Yerel CPU/GPU'da bedava) | ~2 $ – 5 $ (Elektrik/Sunucu) | 300 $ – 1.500 $ (Bulut API Faturası) |
| İdeal Görev Tanımı | Niyet analizi, ajan yönlendirme, JSON/SQL çıkarımı, güvenlik filtresi | RAG özetleme, standart kod üretimi | Karmaşık mimari tasarım ve çok adımlı derin muhakeme |
Python ile SDM Tabanlı Akıllı Yönlendirici (Semantic Router) Kurulumu
Aşağıdaki üretim kodu, gelen her kullanıcı isteğini önce yerel Ollama üzerinde çalışan 1.5B parametreli küçük karar modeline (SDM) sorar; görev basitse yerel modelde 15 milisaniyede bitirir, yalnızca derin muhakeme gerekiyorsa büyük modele aktarır:
import ollama
def akilli_karar_yonlendirici(kullanici_istegi: str) -> str:
# 1. Adım: 1.5B Küçük Karar Modeli (SDM) ile 15ms'de zorluk sınıflandırması yap
karar_promptu = (
"Aşağıdaki görevin zorluk derecesini yalnızca tek kelimeyle sınıflandır: "
"Basit bilgi, özetleme veya formatlama ise 'BASIT', "
"karmaşık matematik veya yazılım mimarisi ise 'ZOR' yaz.\n"
f"Görev: {kullanici_istegi}"
)
karar = ollama.generate(model="qwen2.5:1.5b", prompt=karar_promptu)["response"].strip().upper()
# 2. Adım: Karara göre doğru modele yönlendir (%85 maliyet tasarrufu)
if "BASIT" in karar:
print("⚡ [SDM Yönlendirici]: Görev yerel hızlı modelde çözülüyor (Maliyet: 0 TL)...")
return ollama.generate(model="qwen2.5:7b", prompt=kullanici_istegi)["response"]
else:
print("🧠 [SDM Yönlendirici]: Karmaşık görev tespit edildi, derin muhakeme modeline aktarılıyor...")
return ollama.generate(model="deepseek-r1:14b", prompt=kullanici_istegi)["response"]
print(akilli_karar_yonlendirici("Bu metindeki tarih ve tutar bilgilerini JSON olarak çıkar: 18 Ekim 2026, 4500 TL"))Bu küçük modelleri kendi şirket verinizle 15 dakikada eğitmek için Apple Silicon MLX-LM LoRA Eğitimi veya Unsloth GRPO Rehberi sayfalarımıza başvurabilirsiniz.