Büyük dil modellerinde en büyük hız darboğazı, her tokenın sıralı olarak (bir önceki kelimeye bakarak) tek tek üretilmesidir. Spekülatif Kod Çözme, küçük bir asistan modelle büyük modelin güçlerini birleştirerek donanım maliyetini değiştirmeden hız rekorları kırar.
Spekülatif Kod Çözme Hızlandırma Tablosu
| Hedef Model (Target) | Taslak Model (Draft) | Standart Hız (tok/s) | Spekülatif Hız (tok/s) | Hız Artışı |
|---|---|---|---|---|
| Llama-3.3-70B-Instruct | Llama-3.2-1B-Instruct | 12 tok/s | 34 tok/s | 2.8 Kat Hızlı |
| Qwen2.5-Coder-32B | Qwen2.5-Coder-1.5B | 18 tok/s | 48 tok/s | 2.6 Kat Hızlı |
| DeepSeek-R1-Distill-70B | DeepSeek-R1-Distill-1.5B | 10 tok/s | 29 tok/s | 2.9 Kat Hızlı |
vLLM ile Tek Komutla Başlatma
python3 -m vllm.entrypoints.openai.api_server \
--model meta-llama/Llama-3.3-70B-Instruct \
--speculative-model meta-llama/Llama-3.2-1B-Instruct \
--num-speculative-tokens 5 \
--gpu-memory-utilization 0.95