Yapay zeka modellerini sunucuda barındırırken en büyük maliyet ve gecikme darboğazı KV önbellek (KV Cache) hesaplamalarından kaynaklanır. LMSYS ve UC Berkeley araştırmacıları tarafından geliştirilen sgl-project/sglang GitHub deposu, RadixAttention mimarisiyle DeepSeek-R1 ve Llama modellerinde saniyedeki token üretimini 5 katına çıkarıyor.
SGLang vs vLLM vs Ollama Performans Tablosu
| Kriter / Özellik | SGLang | vLLM | Ollama |
|---|---|---|---|
| Çok Turlu Sohbet Önbelleği | RadixAttention (Sıfır Yeniden Hesaplama) | Prefix Caching | Basit Önbellek |
| Eşzamanlı İstek Hızı (Throughput) | En Yüksek (LMSYS Benchmark Lideri) | Çok Yüksek | Tekil / Düşük |
| Kurulum Kolaylığı | Python / Docker (Geliştirici Odaklı) | Python / Docker | Tek Tıkla Kurulum |
| En İdeal Kullanım Alanı | Yüksek trafikli API'ler ve otonom ajanlar | Kurumsal model barındırma | Kişisel bilgisayarda test |
Adım 1: SGLang Kurulumu ve Model Sunucusu Başlatma
pip install "sglang[all]" --find-links https://flashinfer.ai/whl/cu124/torch2.4/flashinfer/
# DeepSeek veya Qwen modelini SGLang ile başlatma
python3 -m sglang.launch_server \
--model-path Qwen/Qwen2.5-Coder-7B-Instruct \
--port 30000 \
--host 0.0.0.0