Kurumsal şirketler ve bağımsız geliştiriciler için müşteri sırlarını veya patentli kod bloklarını bulut yapay zeka servislerine göndermek ciddi bir güvenlik ve regülasyon riskidir. Bu rehberde, LM Studio ve Ollama araçlarını kullanarak bilgisayarınızın donanım gücüyle tamamen çevrimdışı çalışan bir yapay zeka asistanını nasıl kuracağınızı anlatıyoruz.
Donanım ve Hızlandırma Matrisi
| Donanım Platformu | Hızlandırma Motoru | 7B Model Çıkarım Hızı | 32B Model Çıkarım Hızı |
|---|---|---|---|
| Apple Silicon (M1/M2/M3/M4) | Metal API + Unified Memory | ~45–60 tok/s | ~18–25 tok/s |
| NVIDIA RTX (3060 / 4070 / 4090) | CUDA & TensorRT-LLM | ~70–110 tok/s | ~30–45 tok/s |
| Intel / AMD x86 CPU | AVX-512 / OpenVINO | ~10–18 tok/s | ~3–5 tok/s (Yavaş) |
Adım 1: LM Studio ile Localhost API Başlatma
LM Studio arayüzünde modeli indirip Local Server sekmesinden 1234 portunu açın.
Adım 2: Python İstemcisiyle Bağlanma
from openai import OpenAI
client = OpenAI(base_url="http://localhost:1234/v1", api_key="not-needed")
yanit = client.chat.completions.create(
model="deepseek-r1-distill-qwen-8b",
messages=[{"role": "user", "content": "Yerel güvenlik protokolünü özetle."}]
)
print(yanit.choices[0].message.content)