Mini-Omni 2

Ücretsiz

Gören, Dinleyen ve Düşünürken Konuşan Açık Kaynaklı Uçtan Uca Çok Modlu Ses Modeli

Mini-Omni 2 Nedir? (Hızlı Özet)

Mini-Omni 2, GPT-4o benzeri gerçek zamanlı çok modlu deneyimi açık kaynak dünyasına taşıyan öncü bir modeldir. ASR ve TTS modellerini ayrık bağlamak yerine, tek bir sinir ağı içinde hem görme hem duyma hem de sesli konuşma yeteneğini birleştirerek gecikmeyi 300 milisaniyenin altına indirir.

Genel Bakış ve Özellikler

Mini-Omni 2

Kategori: Ses ve Çok Modlu AI | Lisans: Açık Kaynak (MIT) | Mimari: Uçtan Uca Ses

Mini-Omni 2 Neden Devrim?

Geleneksel sesli asistanlar sesinizi metne çevirir, metni modele sorar, çıkan metni tekrar sese dönüştürür. Bu 3 aşamalı zincir konuşmayı mekanikleştirir. Mini-Omni 2 ise tıpkı bir insan beyni gibi doğrudan ses frekanslarıyla düşünür ve araya girmeleri (interruptions) anlık olarak algılar.

Öne Çıkan Yetenekler

Uçtan Uca Ses-Ses (Speech-to-Speech) Çıkarım Mimarisi

Kamera Canlı Akışını ve Sesi Eş Zamanlı İşleme

Düşünürken Konuşma ve Araya Girmeyi (Barge-in) Algılama

Metin Çevirisi Olmadan Doğrudan Ses Dalgası Üretimi

Desteklenen Alt Modeller

Mini-Omni2 Dual-Stream

Bağlam: Gerçek Zamanlı

Duplex Audio Engine

Bağlam: <200ms Gecikme

Abonelik Kademeleri ve Fiyatlar

Tamamen Ücretsiz (MIT) $0 Açık Kaynak

Yerel donanımda gerçek zamanlı ses
Kamera ve görüntü analizi
Sıfır bulut API ücreti

Avantajları

Klasik ASR + LLM + TTS gecikme zincirini kırarak anlık sohbet sağlaması
Aynı anda hem kameradan nesneleri görüp hem sesli diyalog yürütebilmesi
Tüketici sınıfı ekran kartlarında yerel çalışabilen açık kaynak kod tabanı

Dezavantajları

Ticari GPT-4o sesine kıyasla aksan ve tonlama esnekliğinin daha sade olması
Derin muhakeme gerektiren matematik sorularında 7B parametre sınırı

Araç Detayları

Fiyat Modeli: Ücretsiz

Fiyat Detayı: Free / Open Source

Kategori: Ses ve Müzik

Kullanıcı Değerlendirmesi:

4.8 / 5.0

Puanlamak için Google ile bağlanın

Doğrulanmış Oy: 0 Değerlendirme

Görüntülenme: 6 (Tekil Ziyaret)

Resmi Web Sitesine Git