Yerel LLM & Donanım Araçları
Kişisel bilgisayarda çalışan yerel yapay zeka modelleri, Ollama, donanım ve NPU çözümleri.
Ollama, yerel yapay zeka çalıştırmada küresel endüstri standardıdır. 'ollama run deepseek-r1' gibi tek bir komutla modelleri indirir, Apple Silicon Metal veya NVIDIA CUDA donanım hızlandırmasını otomatik kurar ve localhost üzerinde OpenAI uyumlu bir REST API sunar.
BitNet b1.58, büyük dil modellerinin yüksek enerji ve pahalı GPU bağımlılığını kırmak için geliştirilmiş 1-bit temel model mimarisidir. Ağırlıkları geleneksel 16-bit kayan nokta yerine ternary (-1, 0, 1) değerlere indirgeyerek matris çarpımlarını basit toplama işlemlerine çevirir ve donanım maliyetlerini radikal şekilde düşürür.
Jan AI, Apple Silicon ve NVIDIA donanımlarında açık kaynak yapay zeka modellerini (DeepSeek, Llama, Qwen) tamamen çevrimdışı çalıştıran, yerleşik eklenti mağazası ve localhost API sunucusu sunan açık kaynaklı masaüstü asistanıdır.
LM Studio, terminal kullanmadan yerel yapay zeka modellerini çalıştırmak isteyenler için geliştirilmiş görsel masaüstü yazılımıdır. Bilgisayarınızın donanımını otomatik tespit eder, Hugging Face modellerini doğrudan indirir ve ChatGPT benzeri zengin bir sohbet deneyimi sunar.
Ollama, karmaşık terminal ve kütüphane kurulumlarıyla uğraşmadan açık kaynaklı büyük dil modellerini (DeepSeek, Llama, Mistral) tek komutla yerel bilgisayarınızda çalıştıran ve Open-WebUI ile ChatGPT benzeri şık bir arayüz sunan yerel AI ekosistemidir.
EVREN, T.C. Cumhurbaşkanlığı Savunma Sanayii Başkanlığı (SSB) tarafından geliştirilen; veri etiketleme, SAM destekli otomatik segmentasyon, 64x NVIDIA H200 GPU altyapısında model eğitimi ve OpenAI uyumlu yerli LLM çıkarımı sunan uçtan uca egemen yapay zeka geliştirme platformudur.