Türkçe hukuk metninde altı tokenizer
Aynı 300 belge altı tokenizer’da kaç parça tutuyor, geri birleştirince aynı metin çıkıyor mu, ne kadarı sınıra sığıyor? Ölçüm, sonuçlar ve bunlarla ne yapılabileceği.

İlk yazıda “hükümsüzlüğünün” kelimesini altı tokenizer’a vermiştik. Biri üç parçaya böldü, öteki ona. O örnekteki kelimeler farkı iyi göstersin diye seçilmişti. Bu yazıda aynı soruya seçilmemiş 300 belgeyle bakalım.
Bu ölçüm neden gerekli?
Hukuk metniyle çalışan bir sistem kurarken üç pratik soruya cevap gerekiyor ve üçü de tokenizer’a bağlı.
- 1Bir karar modele sığıyor mu?
- 2Aynı metni okutmak kaça mal oluyor?
- 3Metin geri birleştirilince aslıyla aynı çıkıyor mu?
Birincisi sığma. Modellerin bir seferde okuyabildiği metnin sınırı parça sayısıyla ölçülüyor. Bir kararı modele verirken kaç paragrafın sığacağı, kararın nereden bölüneceği buna göre hesaplanıyor.
İkincisi maliyet. Ücretli servislerde fatura parça sayısıyla kesiliyor. Aynı karar bir tokenizer’da ötekinin iki katı parça tutuyorsa, o serviste iki katı ödeniyor.
Üçüncüsü yer bilgisi. Bir kararın içinden atıfları ayıklarken “bu atıf metnin şu karakterinde başlıyor” diyebilmek gerekiyor. Tokenizer metni geri verirken boşlukları değiştiriyorsa bu hesap şaşar.
İlk yazıdaki birkaç kelime bu sorulara cevap vermeye yetmiyordu.
Ölçüm nasıl yapıldı?
Neye bakılacağı ölçümden önce yazıldı, sonra ona uyuldu.
Üç tür metin var. Gündelik Türkçe için Vikipedi, mevzuat için yürürlükteki kanun maddeleri, kararlar için Yargıtay ve Danıştay gerekçeleri. Her türden 100 belge. Belgeler elle seçilmedi, önceden belirlenmiş bir kuralla çekildi. Kısa ve uzun belgeler her türde aynı oranda yer alsın diye üç uzunluk aralığı kullanıldı.
Altı tokenizer ilk yazıdakilerle aynı. İki Türkçe model (BERTurk, ModernBERT-tr), iki çok dilli arama modeli (BGE-M3, Qwen3) ve tiktokenOpenAI’nin, kendi modellerinin parça listelerini herkes kullanabilsin diye yayımladığı açık kaynaklı araç.’ın iki listesi (cl100k, o200k).
Bakılan üç şey var. Aynı metin kaç parça tutuyor, parçalayıp geri birleştirince aynı metin çıkıyor mu ve belgelerin ne kadarı 512 parçalık sınırı aşıyor.
Uzunluk
1.000 karakterlik metin kaç parça tutuyor? Üç türün ortalaması.
Sıra ilk yazıdaki tek kelimelik örnekle aynı. İki Türkçe model en az parçayı kullanıyor, cl100k onların yaklaşık iki katını. İki Türkçe modelin arasındaki fark yüzde beş altı kadar.
| Tokenizer | Vikipedi | Mevzuat | Karar |
|---|---|---|---|
| ModernBERT-tr | 218 | 188 | 188 |
| BERTurk | 233 | 197 | 198 |
| BGE-M3 | 249 | 240 | 241 |
| o200k | 316 | 311 | 303 |
| Qwen3 | 369 | 363 | 368 |
| cl100k | 398 | 403 | 402 |
Türkçe modeller hukuk metnini gündelik metinden daha az parçayla yazıyor. Atıflar ve künyeler yüzünden tersi beklenirdi. Çok dilli tokenizer’larda türler arasında böyle bir fark yok. Sebebi bu ölçümden çıkmıyor.
Sadakat
Metni parçalayıp geri birleştirince aynı metni veren belgelerin oranı.
| Tokenizer | Vikipedi | Mevzuat | Karar |
|---|---|---|---|
| BERTurk | %0 | %0 | %2 |
| ModernBERT-tr | %0 | %0 | %2 |
| BGE-M3 | %0 | %0 | %66 |
| Qwen3 | %100 | %100 | %100 |
| o200k | %100 | %100 | %100 |
| cl100k | %100 | %100 | %100 |
Burada sıra tersine dönüyor. Qwen3 ve tiktoken’ın iki listesi her belgeyi harfi harfine geri verdi. Bu onların yapısından geliyor, metni bayt bayt parçalıyorlar.
İki Türkçe model neredeyse hiçbir belgeyi birebir geri vermedi. Farkın hemen hepsi boşluk. Atıf ve künyelerde noktalamanın çevresine boşluk ekliyorlar, satır sonlarını boşluğa çeviriyorlar. İlk yazıdaki “344 / 1” gözlemi 300 belgede de görüldü. Harfleri bozmuyorlar, I, İ, ı ve i dördü de doğru geri geliyor.
Sığma
512 parçalık sınırı aşan belgelerin oranı.
| Tokenizer | Aşan belge |
|---|---|
| ModernBERT-tr | %10 |
| BERTurk | %11 |
| BGE-M3 | %13 |
| o200k | %18 |
| Qwen3 | %23 |
| cl100k | %27 |
Yön uzunlukla aynı. Yakın tokenizer’lar ise birbirinden ayrışmıyor. BERTurk ile ModernBERT-tr, BERTurk ile BGE-M3, Qwen3 ile cl100k arasındaki farklar belirsizlik payının içinde kaldı.
Bu sonuçlarla ne yapılabilir?
Baştaki üç soruya dönelim.
Sığma için kaba bir hesap yapılabiliyor. Türkçe bir modelde 1.000 karakter yaklaşık 200 parça tutuyor. 512 parçalık bir sınıra aşağı yukarı 2.500 karakterlik karar metni sığıyor. cl100k’de aynı sınıra 1.300 karakter sığıyor. Bir kararı parçalara bölerken parça boyu buna göre seçilebilir.
Maliyet için de aynı oran geçerli. Türkçe hukuk metnini cl100k ya da o200k kullanan bir servise gönderen, Türkçe bir modelin göreceğinden bir buçuk iki kat fazla parça için ödüyor.
Yer bilgisi için sonuç açık. Türkçe modellerle çalışırken atıfların yerini geri birleştirilmiş metinden hesaplamamak gerekiyor. Tokenizer’ın her parça için verdiği özgün konum bilgisini kullanmak gerekiyor.
Akla gelen bir fikir de hukuk metnine özel bir tokenizer eğitmek. Ölçüm bu fikri zayıflatıyor. Türkçe tokenizer’lar hukuk metnini zaten gündelik metinden daha az parçayla yazıyor. Kazanılacak pay küçük görünüyor.
Bu ölçümün cevaplamadığı iki soru kaldı. Biri uzun kararlar. Örneklemde yalnız gerekçe paragrafları vardı ve yarısı 728 karakterden kısaydı, uzun bir kararın bütünü için ayrı ölçüm gerekiyor. Öbürü, parça sayısındaki farkın arama sonuçlarına yansıyıp yansımadığı. Hangi modelin Türkçeyi daha iyi anladığı ise ayrı bir soru, ona başka bir yazıda bakıyoruz.
Veri ve kod
Betik, belge listesi ve bütün sayılar depoda. Vikipedi ve mevzuat kısmını kendiniz tekrarlayabilirsiniz. Karar metinleri paylaşılmıyor, o kısımda yalnız toplu sonuç var.