İçeriğe geç
← Ana sayfa

Model harf görmez, tokenizer’ın böldüğünü görür

Bir yapay zeka modeli Türkçe bir hukuk metnini okumadan önce onu küçük parçalara ayırır. Bu ilk adım nasıl işliyor, Türkçede neden zorlanıyor?

KısımOkumak
Teknik düzeygiriş
Yayın16 Ekim 2026
KodGitHub
Okuma7 dk
Hukuk metninde vurgulanan bir kelimenin parçalara ve sıralı token kimliklerine dönüşümünü gösteren pastel şema.

Bir dil modeline dilekçenizi yapıştırdığınızda model tek harf görmez. Kelime de görmez. Önüne gelen şey 3244, 5882, 16472 diye uzayan bir sayı dizisidir. Metni bu sayılara çeviren parçanın adı tokenizer. Modelin ne okuduğuna ilk o karar verir.

Sizin yazdığınızhükümsüzlüğünün
Tokenizer’ın böldüğühükümsüzlüğünün
Modelin gördüğü3244588216472
Tek kelimenin BERTurk adlı Türkçe modele gidene kadar geçtiği yol. Model yalnız en alttaki satırı görür.

Hukukçu okur için şöyle bir benzetme yapılabilir. Tokenizer, dosyayı hakimin önüne gitmeden önce dizen kalem gibidir. Kararı o yazmaz. Ama hakim dosyayı onun dizdiği sırayla, onun ayırdığı bölmelerle okur. Kalem dosyayı karman çorman dizerse iyi hakim yine işin içinden çıkar, ama boşuna yorulur.

Bu serinin peşinde olduğu tek bir soru var. Bir model Türkçe hukuk metnini nasıl iyi anlar? Cevabın ilk durağı burası. Model metni anlamaya başlamadan önce metin parçalanıyor ve bu parçalama Türkçeye her zaman iyi davranmıyor.

Bir kelime kaç parça eder?

“Hükümsüzlüğünün” kelimesini alalım. Bir hukukçu için sıradan bir kelime. Aynı kelime altı ayrı tokenizer’a verildi. İkisi Türkçe için eğitilmiş modellerin tokenizer’ı (BERTurk2020’de yayımlanan, yalnız Türkçe metinle eğitilmiş bir dil modeli. ve ModernBERT-trModernBERT adlı yeni mimarinin Türkçe metinle eğitilmiş hali. Yıldız Teknik Üniversitesi’ndeki COSMOS grubu yayımladı. Uzun metinleri tek seferde okuyabiliyor.), ikisi çok dilli arama modellerinin (BGE-M3Metni sayılara çevirip benzer metinleri bulmaya yarayan açık kaynaklı bir model. Yüzden fazla dili destekliyor. ve Qwen3Alibaba’nın Qwen3 ailesinden, metni sayılara çeviren çok dilli bir model. Burada ailenin en küçük üyesini kullandım.), ikisi de ChatGPT’nin arkasındaki modellerin (o200kOpenAI’nin GPT-4o ile birlikte kullanmaya başladığı parça listesi. Adındaki 200k, listede yaklaşık iki yüz bin parça olduğunu gösteriyor. ve cl100kOpenAI’nin GPT-4 ve GPT-3.5 döneminde kullandığı parça listesi. Adındaki 100k, listede yaklaşık yüz bin parça olduğunu gösteriyor.). Altı çizili adların üzerine gelir ya da dokunursanız kısa açıklamaları açılır.

"hükümsüzlüğünün"
BERTurkhükümsüzlüğünün3
ModernBERT-trhükümsüzlüğünün3
BGE-M3hükümsüzlüğünün4
o200khükümsüzlüğünün7
Qwen3hükümsüzlüğünün8
cl100khükümsüzlüğünün10
Altı tokenizer’ın gerçek çıktısı. Kelime başı ve devam işaretlerini (▁, ##) okunsun diye silindi.

Türkçe metinle eğitilen iki model, BERTurk ve ModernBERT-tr, işi üç parçada bitiriyor. İkisi de aynı yerlerden kesiyor ve ilk parçaları “hüküm”. GPT-4’ün kullandığı cl100k ise on parça çıkarıyor ve “ü” harfini üç ayrı yerde tek başına bırakıyor. Kelimeyi tanımamış, hecelemeye çalışmış, onu da tutturamamış.

Aynı kelime neden bu kadar farklı bölünüyor?

Çünkü tokenizer kelimeyi istediği yerden kesemez. Her tokenizer’ın elinde önceden hazırlanmış, sabit bir parça listesi vardır ve metni yalnız o listedeki parçalarla yazabilir. Lego gibi düşünün. Kutuda hangi parçalar varsa kelimeyi onlarla kurarsınız.

BERTurk’ün ve ModernBERT-tr’nin kutusunda “hüküm” diye hazır bir parça var, o yüzden kelimenin başını tek hamlede koyuyorlar. cl100k’nin kutusunda “hüküm” yok. Elindeki en yakın parçalar “h”, “ük” ve “ü”. Mecburen onlarla kuruyor.

Peki kutuya hangi parçaların gireceğine kim karar veriyor? Kimse oturup tek tek seçmiyor. Tokenizer, model eğitilmeden önce büyük bir metin yığınını tarıyor ve en sık yan yana gelen harf dizilerini parça yapıyor. Hangi metni taradıysa onun kelimelerini tanıyor. BERTurk ve ModernBERT-tr Türkçe metin taramış. cl100k’nin kutusuna bakılırsa, onun taradığı yığında Türkçe pek yer tutmamış.

Bunu İngilizce bir kelimeyle sınamak kolay. Aynı cl100k “invalidity” kelimesini “invalid” ve “ity” diye iki parçaya ayırıyor. Aşağı yukarı aynı anlama gelen “hükümsüzlük” yedi parça. Türkçeye kurulmuş bir kumpas yok. “Invalid” ile sık karşılaşmış, “hükümsüz” ile karşılaşmamış.

Tersi de doğru. Türkçe ModernBERT-tr’ye “invalidity” verin, dört parçaya böler, “in”, “val”, “idi” ve “ty” diye.

Herkes kendi mahallesinde rahat.

Neden her kelimeye bir parça verip geçmiyoruz diye sorabilirsiniz. Türkçede bu iş çabuk batar. Hüküm, hükmü, hükümsüz, hükümsüzlük, hükümsüzlüğü, hükümsüzlüğünün… Liste uzar gider. “Çekoslovakyalılaştıramadıklarımızdan mısınız” gibi tek kelimelik cümleler de cabası. Harf harf gitmek de olmaz, o zaman elli sayfalık bir karar yüz bin birimlik bir kuyruğa döner. Bugünkü tokenizer’lar ikisinin ortasını buluyor, kelimeden küçük, harften büyük parçalarla çalışıyor. BERTurk’ün kutusunda bunlardan 32.000 tane var. Yüzden fazla dile hizmet eden BGE-M3’te 250.002.

Numaralar ne işe yarıyor?

Kutudaki her parçanın bir numarası olur. BERTurk’te “hüküm” 3244 numaradır. En baştaki şekilde modelin gördüğü sayılar bunlar.

Bu numaralara puan gözüyle bakmayın, raf numarası onlar. 5882’nin 3244’ten büyük olması hiçbir şey anlatmaz. Model, 3244 numaralı rafta duran şeyi alıp onunla çalışır. Bu yüzden tokenizer ile model birbirinden ayrılmaz. Birinin tokenizer’ını ötekine takarsanız raflar karışır, model “hüküm” diye uzanıp bambaşka bir şey çeker.

Sözlük bir kez kurulur ve modelle birlikte yaşar. Bunun bir sınaması da var. ModernBERT-tr milyonlarca mahkeme kararıyla eğitilmeye devam edildi. Ortaya çıkan hukuk modelinin sözlük dosyası tabanınkiyle bayt bayt aynı, yukarıdaki tabloya eklense ModernBERT-tr satırının kopyası çıkar. Değişen sözlük olmadı, raflarda duran şeyler oldu. Rafta ne durduğuna sonraki yazıda bakacağız.

Tokenizer hukuk fakültesine gitmedi

Kelimeler neyse de, bizim metinlerin yarısı atıf. “TBK m. 344/1” yazınca şu oluyor.

"TBK m. 344/1"
BERTurkTBKm.344/18
ModernBERT-trTBKm.344/18
Qwen3TBK␣m.␣344/110
␣ boşluğu gösteriyor. BERTurk ve ModernBERT-tr boşlukları ayrı parça saymıyor.

İki Türkçe model de 344’ü “34” ile “4” diye bölmüş. Kira artışı hakkında bir kanaatleri olduğundan değil, kutularında 344 diye bir parça yok. Qwen3 rakamları tek tek diziyor. “E. 2023/125, K. 2024/87” künyesi bu yüzden Qwen3’te 22 parça tutuyor, BERTurk’te 12, ModernBERT-tr’de 11.

Buna hata diyemeyiz. Tokenizer’ın işi atfı çözmek değil, metni parçalamak. Hangi kanunun hangi fıkrası olduğunu anlamak daha sonraki katmanların derdi. Yine de bir ayrıntı dikkat çekici. BERTurk’ten aynı atfı geri istediğinizde “TBK m. 344 / 1” diye, eğik çizginin iki yanına boşluk koyarak veriyor. Bir avukat farkı görmez. Kararlardan atıf ayıklayan bir program görür.

Türkçeyi iyi anlamak iyi tokenizer’dan mı geçiyor?

Önce işin kesin olan tarafına bakalım. Modelin bir seferde okuyabileceği metnin sınırı parça sayısıyla ölçülür, ücretli servislerin faturası da öyle.

“Kiracı, kira bedelinin belirlenmesini isteyebilir.”
BERTurk9
ModernBERT-tr9
BGE-M313
o200k14
Qwen319
cl100k20
Aynı cümlenin altı tokenizer’daki parça sayısı.

Tek cümlede bu fark önemsiz. Otuz sayfalık bir Yargıtay kararında ise, aynı sınıra sahip iki modelden birinin kararı sonuna kadar okuması, ötekinin yarıda kalması demek.

Anlama tarafı daha çetrefilli. Kötü bölünen kelimede model iki iş birden yapmak zorunda kalır. Önce “h, ük, ü, ms…” parçalarından kelimeyi kafasında yeniden kuracak, sonra anlamına bakacak. Dev modeller bunu büyüklükleriyle telafi ediyor. GPT-4 Türkçeyi yukarıdaki gibi heceleyerek okur ve yine de gayet düzgün Türkçe yazar. Küçük modellerde aynı lüks yok. Arama ve sınıflandırma işlerinde kullandığımız modeller de küçük modellerdir. Onlarda parçalama Türkçeye ne kadar uyarsa, modele asıl iş için o kadar yer kalır.

Öte yandan az parçaya bölmek tek başına marifet değil. Parça sayısı, modelin o parçalardan ne anladığını göstermez. Dosyayı düzgün dizen kalem iyi kalemdir. Kararın isabetli çıkması ayrı konu.

Şunu da eklemek gerekir, yukarıdakiler birkaç örnek, ölçüm değil. Beş kelimeyle tokenizer sıralaması yapılmaz. Yüzlerce belgeyle yapılmış derli toplu karşılaştırma ayrı bir yazıda.

Şimdilik akılda şu kalsın.

Model metni okumuyor, raf numaralarını okuyor.

Peki 3244 numaralı rafta ne duruyor? Orada bir kelime yok, bir tanım da yok. Birkaç yüz sayıdan oluşan bir liste var. Buna vektör deniyor ve hukuki metinlerde “benzerlik” dediğimiz her şey bu sayılarla hesaplanıyor. O konu serinin Bulmak kısmında, vektör yazısında.

Okumak kısmında sırada altı tokenizer’ın 300 belgeyle karşılaştırması var.

Örnekler hakkında

Örnekler 11 Kasım 2026’da alındı. Kullanılan tokenizer’lar şunlar.

  • BERTurk, dbmdz/bert-base-turkish-cased
  • ModernBERT-tr, ytu-ce-cosmos/modernbert-tr-base
  • BGE-M3, BAAI/bge-m3
  • Qwen3, Qwen/Qwen3-Embedding-0.6B
  • cl100k ve o200k, tiktoken 0.14.0

Parça sayılarına modellerin metnin başına ve sonuna eklediği özel işaretler dahil değil. Betik ve ham çıktı depoda duruyor, kendi bilgisayarınızda çalıştırabilirsiniz.

Kaynaklar

tokenizerturkcehukuktemeller