Noktalama İşaretlerinin Gizli Token Maliyeti: BPE Algoritması ve Tasarruf Kılavuzu

Yapay zeka prompt mühendisliğinde çoğu geliştirici yalnızca kelimelerin uzunluğuna odaklanır. Oysa büyük dil modellerinin (LLM) faturalandırma motorunun en sinsi maliyet kalemi noktalama işaretleridir. Nokta (.), virgül (,), tırnak ("), parantez (()) ve kesme işareti ('), Byte-Pair Encoding (BPE) parçalayıcıları tarafından kelimelerle birleştirilmez; ayrı birer bağımsız token (~0.9 TK) olarak faturalandırılır.

1. BPE Algoritmasının Arka Planı: Regex Parçalama Mantığı

GPT-4o (o200k_base), GPT-4 (cl100k_base) ve Llama 3 modellerinin kalbinde yer alan OpenAI Tiktoken kütüphanesi, metinleri BPE birleştirme havuzuna göndermeden önce şu regex kuralıyla dilimler:

Bu regex ifadesindeki ?[^\s\p{L}\p{N}]+ kuralı şunu emreder: "Harf veya rakam olmayan tüm sembolleri bağımsız bir grup olarak ayır."

Yani siz "Sonuç:" yazdığınızda, tokenizer "Sonuç" kelimesi ile ":" iki nokta işaretini asla tek parça olarak görmez. Kelime bir token, iki nokta ise tamamen bağımsız ikinci bir token haline gelir.

2. Gerçek Tokenizer Karşılaştırması: Kelime vs Noktalama

Aşağıdaki tabloda yaygın noktalama kalıplarının OpenAI ve Anthropic modellerindeki gerçek token karşılıkları listelenmiştir:

3. JSON'un Gizli Noktalama Faturası: JSON vs YAML / TSV

Birçok yapay zeka uygulamasında modellerden JSON formatında çıktı alınır veya modeller JSON verisiyle beslenir. Ancak JSON'ın her tırnak ("), süslü parantez ({ }) ve iki noktası (:) faturaya eklenir.

{
  "isim": "Ahmet",
  "yas": 30,
  "sehir": "Ankara"
}

isim: Ahmet
yas: 30
sehir: Ankara

4. Noktalama Token İsrafını Sıfırlayan 4 Altın Kural

1. Gereksiz Tırnaklardan Kaçının: Sistem talimatlarında tek bir kavramı belirtirken tırnak işareti ("...") yerine italik veya büyük harf kullanın.
2. Ardışık Noktalamaları Yasaklayın: ..., ???, !!! gibi ardışık işaretler token çarpanını 3 katına çıkarır.
3. Parantez Yerine Tire veya Yeni Satır: Parantez açıp kapatmak 2 token fazladan faturalandırılır.
4. Büyük Veri Akışlarında TSV / Markdown Tablosu Kullanın: JSON yerine Tab ile ayrılmış değerler veya YAML tercih ederek API bütçenizi koruyun.