vLLM v0.30 vs SGLang v0.5.20: Açık Kaynak Çıkarım Motorlarında RadixAttention ve Ajan Döngüsü Savaşı
Red Hat'in Ekim 2026 araştırmasına göre açık kaynak LLM çıkarım motorlarında iki lider ayrışmaktadır: SGLang v0.5.20, RadixAttention mimarisiyle çok turlu konuşmalarda ve yapay zeka ajanlarında paylaşılan KV önbelleği (prefix caching) yeniden kullanarak %30-50 bellek tasarrufu sağlar. vLLM v0.30.0 ise geniş donanım eklentileri (NVIDIA, AMD ROCm, Ascend) ve çoklu LoRA desteğiyle kurumsal dağıtımların bir numaralı tercihi olmaya devam etmektedir.
Yapay zeka modellerini eğitmek kadar, onları saniyede binlerce kullanıcıya en düşük gecikmeyle sunmak da (Inference) milyarlarca dolarlık bir altyapı yarışına dönüştü. Red Hat'in yayınladığı kapsamlı 2026 çıkarım motoru araştırması ve vLLM v0.30.0 sürüm notları, açık kaynak dünyasının iki devi olan vLLM ile SGLang arasındaki rekabetin detaylarını netleştirdi.
Ajanik Çağda Darboğaz: KV Cache ve Ortak Önek (Shared Prefix)
Modern yapay zeka uygulamaları artık tek seferlik soru-cevap yapmıyor; Cursor AI veya Windsurf gibi araçlarda aynı 50.000 tokenlik sistem promptu ve kod tabanı her mesajda tekrar tekrar modele besleniyor. Bu durum ekran kartı belleğinin (VRAM) gereksiz yere şişmesine yol açıyor.
| Kriter / Özellik | SGLang v0.5.20 | vLLM v0.30.0 |
|---|---|---|
| Önbellek Algoritması | RadixAttention (Ağaç Tabanlı Otomatik Prefix Caching) | PagedAttention v2 + Chunked Prefill |
| Ajan ve Çok Turlu Chat Performansı | %30 - %50 Daha Düşük VRAM, 2 Kat Hızlı TTFT | Yüksek (Ancak dinamik dallanmalarda önbellek israfı olabilir) |
| Donanım Desteği | NVIDIA CUDA odaklı, gelişmekte olan ROCm | NVIDIA, AMD ROCm, Intel Gaudi, Huawei Ascend, CPU |
| Multi-LoRA Ölçekleme | Temel LoRA desteği | Dinamik ve Yüksek Hızlı Multi-LoRA Entegrasyonu |