İçeriğe geç
← Ana sayfa

Türkçe hukuk metninde altı tokenizer

Aynı 300 belge altı tokenizer’da kaç parça tutuyor, geri birleştirince aynı metin çıkıyor mu, ne kadarı sınıra sığıyor? Ölçüm, sonuçlar ve bunlarla ne yapılabileceği.

KısımOkumak
Teknik düzeyorta
Yayın11 Kasım 2026
Güncelleme12 Kasım 2026
KodGitHub
Okuma5 dk
Aynı hukuk metninin eşit toplam uzunlukta fakat farklı sınırlarda parçalara ayrılmasını gösteren iki pastel şerit.

İlk yazıda “hükümsüzlüğünün” kelimesini altı tokenizer’a vermiştik. Biri üç parçaya böldü, öteki ona. O örnekteki kelimeler farkı iyi göstersin diye seçilmişti. Bu yazıda aynı soruya seçilmemiş 300 belgeyle bakalım.

Bu ölçüm neden gerekli?

Hukuk metniyle çalışan bir sistem kurarken üç pratik soruya cevap gerekiyor ve üçü de tokenizer’a bağlı.

  1. 1Bir karar modele sığıyor mu?
  2. 2Aynı metni okutmak kaça mal oluyor?
  3. 3Metin geri birleştirilince aslıyla aynı çıkıyor mu?

Birincisi sığma. Modellerin bir seferde okuyabildiği metnin sınırı parça sayısıyla ölçülüyor. Bir kararı modele verirken kaç paragrafın sığacağı, kararın nereden bölüneceği buna göre hesaplanıyor.

İkincisi maliyet. Ücretli servislerde fatura parça sayısıyla kesiliyor. Aynı karar bir tokenizer’da ötekinin iki katı parça tutuyorsa, o serviste iki katı ödeniyor.

Üçüncüsü yer bilgisi. Bir kararın içinden atıfları ayıklarken “bu atıf metnin şu karakterinde başlıyor” diyebilmek gerekiyor. Tokenizer metni geri verirken boşlukları değiştiriyorsa bu hesap şaşar.

İlk yazıdaki birkaç kelime bu sorulara cevap vermeye yetmiyordu.

Ölçüm nasıl yapıldı?

Neye bakılacağı ölçümden önce yazıldı, sonra ona uyuldu.

Üç tür metin var. Gündelik Türkçe için Vikipedi, mevzuat için yürürlükteki kanun maddeleri, kararlar için Yargıtay ve Danıştay gerekçeleri. Her türden 100 belge. Belgeler elle seçilmedi, önceden belirlenmiş bir kuralla çekildi. Kısa ve uzun belgeler her türde aynı oranda yer alsın diye üç uzunluk aralığı kullanıldı.

Altı tokenizer ilk yazıdakilerle aynı. İki Türkçe model (BERTurk, ModernBERT-tr), iki çok dilli arama modeli (BGE-M3, Qwen3) ve tiktokenOpenAI’nin, kendi modellerinin parça listelerini herkes kullanabilsin diye yayımladığı açık kaynaklı araç.’ın iki listesi (cl100k, o200k).

Bakılan üç şey var. Aynı metin kaç parça tutuyor, parçalayıp geri birleştirince aynı metin çıkıyor mu ve belgelerin ne kadarı 512 parçalık sınırı aşıyor.

Uzunluk

1.000 karakterlik metin kaç parça tutuyor? Üç türün ortalaması.

ModernBERT-tr198
BERTurk209
BGE-M3243
o200k310
Qwen3366
cl100k401
1.000 karakter başına ortalama parça sayısı, 300 belge.

Sıra ilk yazıdaki tek kelimelik örnekle aynı. İki Türkçe model en az parçayı kullanıyor, cl100k onların yaklaşık iki katını. İki Türkçe modelin arasındaki fark yüzde beş altı kadar.

Tokenizer Vikipedi Mevzuat Karar
ModernBERT-tr 218 188 188
BERTurk 233 197 198
BGE-M3 249 240 241
o200k 316 311 303
Qwen3 369 363 368
cl100k 398 403 402

Türkçe modeller hukuk metnini gündelik metinden daha az parçayla yazıyor. Atıflar ve künyeler yüzünden tersi beklenirdi. Çok dilli tokenizer’larda türler arasında böyle bir fark yok. Sebebi bu ölçümden çıkmıyor.

Sadakat

Metni parçalayıp geri birleştirince aynı metni veren belgelerin oranı.

Tokenizer Vikipedi Mevzuat Karar
BERTurk %0 %0 %2
ModernBERT-tr %0 %0 %2
BGE-M3 %0 %0 %66
Qwen3 %100 %100 %100
o200k %100 %100 %100
cl100k %100 %100 %100

Burada sıra tersine dönüyor. Qwen3 ve tiktoken’ın iki listesi her belgeyi harfi harfine geri verdi. Bu onların yapısından geliyor, metni bayt bayt parçalıyorlar.

İki Türkçe model neredeyse hiçbir belgeyi birebir geri vermedi. Farkın hemen hepsi boşluk. Atıf ve künyelerde noktalamanın çevresine boşluk ekliyorlar, satır sonlarını boşluğa çeviriyorlar. İlk yazıdaki “344 / 1” gözlemi 300 belgede de görüldü. Harfleri bozmuyorlar, I, İ, ı ve i dördü de doğru geri geliyor.

Sığma

512 parçalık sınırı aşan belgelerin oranı.

Tokenizer Aşan belge
ModernBERT-tr %10
BERTurk %11
BGE-M3 %13
o200k %18
Qwen3 %23
cl100k %27

Yön uzunlukla aynı. Yakın tokenizer’lar ise birbirinden ayrışmıyor. BERTurk ile ModernBERT-tr, BERTurk ile BGE-M3, Qwen3 ile cl100k arasındaki farklar belirsizlik payının içinde kaldı.

Bu sonuçlarla ne yapılabilir?

Baştaki üç soruya dönelim.

Sığma için kaba bir hesap yapılabiliyor. Türkçe bir modelde 1.000 karakter yaklaşık 200 parça tutuyor. 512 parçalık bir sınıra aşağı yukarı 2.500 karakterlik karar metni sığıyor. cl100k’de aynı sınıra 1.300 karakter sığıyor. Bir kararı parçalara bölerken parça boyu buna göre seçilebilir.

Maliyet için de aynı oran geçerli. Türkçe hukuk metnini cl100k ya da o200k kullanan bir servise gönderen, Türkçe bir modelin göreceğinden bir buçuk iki kat fazla parça için ödüyor.

Yer bilgisi için sonuç açık. Türkçe modellerle çalışırken atıfların yerini geri birleştirilmiş metinden hesaplamamak gerekiyor. Tokenizer’ın her parça için verdiği özgün konum bilgisini kullanmak gerekiyor.

Akla gelen bir fikir de hukuk metnine özel bir tokenizer eğitmek. Ölçüm bu fikri zayıflatıyor. Türkçe tokenizer’lar hukuk metnini zaten gündelik metinden daha az parçayla yazıyor. Kazanılacak pay küçük görünüyor.

Bu ölçümün cevaplamadığı iki soru kaldı. Biri uzun kararlar. Örneklemde yalnız gerekçe paragrafları vardı ve yarısı 728 karakterden kısaydı, uzun bir kararın bütünü için ayrı ölçüm gerekiyor. Öbürü, parça sayısındaki farkın arama sonuçlarına yansıyıp yansımadığı. Hangi modelin Türkçeyi daha iyi anladığı ise ayrı bir soru, ona başka bir yazıda bakıyoruz.

Veri ve kod

Betik, belge listesi ve bütün sayılar depoda. Vikipedi ve mevzuat kısmını kendiniz tekrarlayabilirsiniz. Karar metinleri paylaşılmıyor, o kısımda yalnız toplu sonuç var.

Kaynaklar

tokenizerturkcehukukdeney-tasarimi