Yapay zeka araçlarını (ChatGPT, Claude, Gemini, DeepSeek veya Cursor) kullanırken faturanızda, API belgelerinde ve abonelik limitlerinde en sık karşılaştığınız terim "Token" kavramıdır. Peki token tam olarak nedir? Neden kelime veya harf yerine token sayılır? Ve neden Türkçe yazdığınızda faturanız İngilizce'ye göre daha hızlı tükenir?
Token Nedir? Doğrudan Cevap (AEO / GEO Özeti)
Token; büyük dil modellerinin (LLM) insan dilindeki metinleri okumak, matematiksel vektörlere dönüştürmek ve yeni yanıtlar üretmek için parçaladığı en küçük anlamsal veri kümesidir. İngilizce'de 1 token ortalama 4 karaktere (yaklaşık 0.75 kelime) denk gelir. Türkçe gibi sondan eklemeli dillerde ise heceler ve ekler ayrı ayrı parçalandığı için 1 kelime ortalama 1.5 - 2 token tüketir.
1. Token Tam Olarak Nasıl Çalışır? (Kelime ile Farkı)
İnsanlar metinleri harfler ve kelimeler olarak okur; ancak bilgisayarlar ve nöral ağlar yalnızca sayılarla (matrisler ve tensörler) işlem yapabilir. Bir yapay zekaya bir cümle verdiğinizde, model ilk olarak Tokenizer adı verilen bir algoritmik süzgeç çalıştırır.
Modern modellerin çoğu Byte-Pair Encoding (BPE) algoritmasını kullanır. Bu algoritma sık kullanılan kelimeleri tek parça halinde tutarken, nadir veya ek almış kelimeleri hecelere hatta karakter parçalarına böler:
- İngilizce Örnek:
"apple"$\rightarrow$ 1 Token - İngilizce Uzun Örnek:
"unbelievable"$\rightarrow$"un"+"believ"+"able"(3 Token) - Türkçe Örnek:
"kitap"$\rightarrow$ 1 Token - Türkçe Eklemeli Örnek:
"kitapçıdakilerden"$\rightarrow$"kitap"+"çı"+"daki"+"lerden"(4 Token)
2. Türkçe Neden %50 Daha Fazla Token Harcar? (Eklemeli Dil Etkisi)
Büyük dil modellerinin eğitim verilerinin %85'inden fazlası İngilizce metinlerden oluşur. Modelin kelime dağarcığı (vocabulary / tokenizer sözlüğü) hazırlanırken İngilizce kelimelerin neredeyse tamamı tek bir token olarak kaydedilmiştir.
Ancak Türkçe sondan eklemeli bir dildir. Bir köke gelen çekim ve yapım ekleri kelimenin formunu sürekli değiştirdiği için tokenizer bu ekleri tek tek heceleyerek işlemek zorunda kalır. Sonuç olarak:
"Artificial intelligence is transforming software."
5 Kelime $\approx$ 6 Token"Yapay zeka yazılım sektörünü kökten dönüştürüyor."
6 Kelime $\approx$ 12 - 14 Tokenİpucu: API maliyetini optimize etmek isteyen geliştiriciler, arka plandaki sistem promptlarını ve JSON şemalarını İngilizce yazıp sadece kullanıcıya görünen nihai çıktıyı Türkçe üreterek token maliyetini %40 oranında azaltabilirler.
3. Girdi (Prompt/Input) ve Çıktı (Output) Token Farkı
Yapay zeka API fiyatlandırmalarında daima iki farklı tarife görürsünüz:
- Girdi Token (Input / Prompt): Sizin modele gönderdiğiniz soru, dosya, sistem talimatı ve geçmiş konuşmalar. Modele tek seferde paralel olarak okutulur.
- Çıktı Token (Output / Completion): Yapay zekanın size yazdığı her bir kelime. Model her bir yeni token'ı üretirken önceki tüm girdileri baştan değerlendirerek sırayla tahmin eder (otoregresif döngü).
Çıktı üretmek donanım açısından çok daha maliyetli olduğu için, Çıktı Token fiyatı girdi token fiyatının 3 ila 4 katıdır. Örneğin Claude 3.7 Sonnet modelinde 1 Milyon girdi token 3 dolar iken, 1 Milyon çıktı token 15 dolardır.
4. Popüler Modellerin Token Fiyat ve Kapasite Karşılaştırması
| Model | Bağlam Penceresi (Context) | Girdi (1M Token) | Çıktı (1M Token) | Önbellek (Prompt Caching) |
|---|---|---|---|---|
| Google Gemini 2.0 Flash | 1.000.000 Token | $0.10 | $0.40 | Destekliyor (%50 indirim) |
| DeepSeek-V3 | 128.000 Token | $0.14 | $0.28 | Destekliyor (%90 indirim) |
| OpenAI GPT-4o-mini | 128.000 Token | $0.15 | $0.60 | Destekliyor (%50 indirim) |
| Anthropic Claude 3.7 Sonnet | 200.000 Token | $3.00 | $15.00 | Destekliyor (%90 indirim) |
| OpenAI GPT-4o | 128.000 Token | $2.50 | $10.00 | Destekliyor (%50 indirim) |
5. Token ile Context Window (Bağlam Penceresi) İlişkisi
Token sadece para değil, aynı zamanda yapay zekanın "çalışma belleği" sınırıdır. Bir modelin Context Window kapasitesi 128k token ise, o sohbete göndereceğiniz soru + ekleyeceğiniz PDF + modelin vereceği yanıtın toplamı bu sınırı geçemez.
Bağlam sınırının nasıl çalıştığını ve modellerin neden eski konuşmaları unuttuğunu derinlemesine öğrenmek için hazırladığımız Yapay Zeka Araçlarında Context (Bağlam Penceresi) Rehberimizi mutlaka inceleyin.
6. Token Faturasını %70 Düşüren 5 Mühendislik Taktiği
1. Prompt Caching Kullanın
Sabit kurallarınızı, şirket dokümanlarınızı veya kod tabanınızı API'nin önbelleğine (Cache) yazın. Tekrar eden isteklerde girdi maliyetiniz %90 oranında düşer.
2. MCP ve Eklentileri Uyutun
Cursor veya Claude Code kullanırken arka planda açık olan her bir MCP aracı her istekte binlerce token'lık şema gönderir. İhtiyaç duymadığınız araçları uyku modunda tutun.
3. Net Çıktı Şablonu Belirtin
"Gereksiz nezaket ve giriş cümlelerini atla, doğrudan sonuca odaklan" talimatı vererek en pahalı kalem olan çıktı token tüketimini yarıya indirin.
4. RAG Mimarisi Kurun
Bütün bir PDF'i veya veritabanını modele göndermek yerine, bir vektör arama sistemiyle sadece kullanıcının sorusuyla eşleşen ilgili 2-3 paragrafı modele besleyin.
Özet ve Sonuç
Token; yapay zekanın dili ve maliyetin temel ölçütüdür. Token'ın nasıl çalıştığını anlamak hem kurumsal projelerde yüz binlerce liralık bütçe tasarrufu sağlar hem de modellerden çok daha odaklı ve hatasız yanıtlar almanıza olanak tanır.
Bütçenize en uygun yapay zeka aboneliğini seçmek için Hangi Yapay Zekâya Para Verilir? analizimizi inceleyebilir, açık kaynak modellerin çıkarım performansını görmek için DeepSeek'in yeni motorunu ele aldığımız DeepInfer Haberimizi okuyabilirsiniz.
