Yapay zeka modellerinin işletim sistemlerini yönetirken yaşadığı en büyük problem, ekrandaki küçük butonları veya simgeleri tam koordinatıyla tıklayamamaktır. Microsoft Research tarafından geliştirilen microsoft/OmniParser, ekrandaki her pikseli anlamsal olarak analiz ederek bu engeli ortadan kaldırıyor.
OmniParser v2.0 Mimari Tablosu
| Modül | Kullanılan Model | İşlevi |
|---|---|---|
| İkon ve Buton Tespiti | YOLOv8 İnce Ayarlı (Fine-tuned) | Tıklanabilir tüm görsel öğeleri koordinat kutusuna alır |
| İkon Anlamlandırma (Captioning) | BLIP-2 / Florence-2 | Görsel simgenin işlevini (Örn: 'Kapat Butonu', 'Ayarlar Simgesi') metne çevirir |
| OCR Metin Okuma | EasyOCR / PaddleOCR | Ekrandaki metinleri piksel doğruluğuyla okur |
Kurulum ve Python Örnek Kodu
git clone https://github.com/microsoft/OmniParser.git
cd OmniParser
pip install -r requirements.txt
python demo.py