Türkçe hukuk metni için hangi BERT?
Beş BERT modeli ve üç soru. Ne kadar metin okuyabiliyorlar, hukuk metnini anlamada fark var mı, kararı bütün olarak vermek işe yarıyor mu?

Geçen yazı bir soruyla bitmişti. BERT 2018’de yayımlandı, sonraki yıllarda ondan türeyen pek çok model çıktı. Türkçe hukuk metniyle çalışırken bunlardan hangisini seçmek gerekir?
ChatGPT varken BERT’e ne gerek var?
Akla gelen ilk soru şu olabilir. “Benim ChatGPT aboneliğim var, ona sorarım, BERT’e ne gerek?”
Cevap, yapay zeka dediğimiz şeyin tek bir şey olmamasıyla başlıyor.
ChatGPT, Claude ve Gemini metin üreten çok büyük modeller. Soru sorarsınız, cevap yazarlar. BERT ailesi yazı yazmaz. Bir metni okur ve önceden belirlenmiş bir soruya cevap verir. Bu hüküm yaptırım öngörüyor mu, evet ya da hayır. Bu yazıda karşılaştırılan beş modelin hepsi bu ikinci türden.
İkisi rakip değil. Hukukta küçük modele üç sebeple ihtiyaç var.
Birincisi ölçek. Rakamla bakalım.
Elimizde yürürlükteki mevzuattan yaklaşık 44 bin madde var. Bu kadarı sorun değil, 34 milyon karakter ediyor, bir büyük dil modeline rahatça okutulur.
Kararlar başka. Açık kaynaklardan erişebildiğimiz 11 milyondan fazla mahkeme kararı var. Hugging Face’teki Türk İçtihat Korpusu bunları bir arada sunuyor, toplam 31,5 milyar karakter. Tokenizer ölçümünde OpenAI’nin o200k listesinin karar metninde 1.000 karakteri 303 parçaya böldüğünü görmüştük. Bu hesapla bütün kararlar yaklaşık 10 milyar parça ediyor.
Büyük dil modellerinin ücreti okudukları parça sayısına göre kesiliyor. Kasım 2026 liste fiyatlarıyla bütün kararları bir kez okutmanın bedeli şöyle.
| Model | Milyon parça okuma ücreti | Bütün kararlar, bir kez |
|---|---|---|
| GPT-6 Astra | 10 dolar | 100 bin dolar |
| Claude Opus 5.5 | 4 dolar | 40 bin dolar |
| Claude Haiku 5.5 | 0,10 dolar | bin dolar |
Bu yalnız okuma ücreti, modelin yazdığı cevap ayrıca faturalanıyor. Acelesi olmayan işler toplu gönderilirse fiyat yarıya iniyor. Parça sayısı o200k listesiyle hesaplandı, bu modellerin kendi listeleri biraz farklı sonuç verebilir. Rakamları kabaca okumak gerekir.
Tablonun son satırı da önemli. En ucuz sınıftaki büyük dil modeli bu işi bin dolara yapıyor, pahalı olanların yüzde biri. Para tek başına belirleyici değil.
Asıl mesele şu. Bu bedel tek bir soru için. “Bu paragraf mahkemenin kendi görüşü mü” diye sordunuz, en güçlü modellerle 40 ila 100 bin dolar. Yarın “bu atıf maddeyi uyguluyor mu” diye sormak isterseniz bir o kadar daha. Her yeni soru bütün arşivi baştan okutmak demek.
Küçük modelde hesap değişiyor. Bu serinin arkasındaki çalışmada BERT ailesinden bir model yedi milyondan fazla paragraf ve madde çiftini üç oturumda işaretledi. Harcanan işlem gücünün karşılığı birkaç dolardı.
Süre de ayrı bir fark. Aynı işin iki yolla yapıldığı bir örnek var. 68 bin kanun hükmünün işaretlenmesi gerekiyordu. BERT ailesinden model tek bir ekran kartında 18 dakikada bitirdi. Aynı hükümleri iki büyük dil modeline, onlarca çağrıyı aynı anda göndererek işaretletmek yaklaşık dört saat sürdü. Üçüncü bir büyük modelde kullanım kotası devreye girdi. Saatte üç bin hüküm ilerlenebildi ve bu hızla işin bitmesi iki haftayı aşıyordu.
68 bin hüküm için dört saat de iki hafta da beklenir. 11 milyon karar için beklenmez.
İkincisi verinin yeri. Küçük model kendi bilgisayarınızda çalışır. Dosyaları başka bir şirketin sunucusuna göndermek gerekmez.
Üçüncüsü, dar bir işte özel eğitilmiş model hazır genel modelin gerisinde kalmak zorunda değil. Aynı çalışmadan iki ölçüm var.
Arama sonuçlarını sıralama işinde, Türkçe ModernBERT’in üstüne hukuk verisiyle eğitilen küçük bir model ticari bir sıralama servisiyle başa baş çıktı. Küçük model 0,825, servis 0,810, aradaki fark belirsizlik payının içinde.
Uzun bir kararın içinden soruyla ilgili paragrafı bulma işinde ise özel eğitilmiş model 0,96 isabet verdi, büyük dil modelleriyle kurulan düzenek 0,62’de kaldı. Buradaki model BERT ailesinden değil, daha büyük bir sıralama modeli. Elli kararlık küçük bir denemeydi ve doğru cevapların belirlenme biçimi özel modelin lehine olabilir. Farkı olduğundan büyük görmemek gerekir.
Tersini de söylemek gerekir. Etiketleme işlerinde büyük modeller küçük modellerden daha doğru. Aynı örnekler elle de işaretlendiğinde büyük modelin etiketleri insan etiketleriyle 0,89 oranında uyuştu, onun etiketleriyle eğitilen küçük model 0,82’de kaldı. Küçük modeller zaten büyük modellerin etiketleriyle eğitiliyor.
Büyük model öğretmen, küçük model öğrenci. Öğretmen her kağıdı tek tek okuyamayacağı için öğrenciye ihtiyaç var.
Üç soru
Hukuk araması yapan bir sistemde metinlerin önceden işaretlenmiş olması gerekiyor. Bu hüküm yaptırım mı öngörüyor? Bu paragraf mahkemenin kendi görüşü mü, yoksa tarafın iddiası mı? Bu işaretler olunca “yalnız mahkemenin kendi gerekçesinde ara” ya da “yaptırım öngören hükümleri getir” demek mümkün oluyor. Yukarıdaki hesap bu işin neden küçük modellere düştüğünü gösteriyor.
Küçük model sıfırdan kurulmuyor, hazır bir BERT’in üstüne eğitiliyor. Hangisini seçeceğimize karar vermek için bu yazıda üç soruya bakacağız.
- 1Modeller bir seferde ne kadar metin okuyabiliyor ve bu hukuk metninde önem taşıyor mu?
- 2Hukuk metnini anlamada aralarında fark var mı?
- 3Bir kararı modele parça parça vermek ile bütün olarak vermek arasında fark oluyor mu?
Önce modelleri tanıyalım.
Beş model
BERTurk2020’de yayımlanan, yalnız Türkçe metinle eğitilmiş bir dil modeli. listenin en eskisi. ModernBERT-trModernBERT adlı yeni mimarinin Türkçe metinle eğitilmiş hali. Yıldız Teknik Üniversitesi’ndeki COSMOS grubu yayımladı. aynı işi daha yeni bir mimariyle yapıyor.
Üçüncüsü ModernBERT-tr’nin mahkeme kararları ve kanun maddeleriyle eğitilmeye devam edilmiş hali, modernbert-tr-legal. Hukuk cümlelerinde boşluk doldurmada tabanından belirgin biçimde iyi.
Kalan ikisi Türkçeye özel değil. mmBERTModernBERT mimarisinin çok sayıda dille birlikte eğitilmiş hali. çok dilli. NeoBERT2025’te yayımlanan, BERT’i güncel tekniklerle yeniden kuran bir model. Yalnız İngilizce metinle eğitildi. yalnız İngilizce biliyor. Mimarisi beşi içinde en yenisi. Yeni mimari dil bilgisinin yerini tutar mı, onu görmek için listede.
Birinci soru, model ne kadar metin okuyabiliyor?
BERTurk’ün sınırı 512 parça. Türkçe hukuk metninde bu yaklaşık 2.500 karakter, bir sayfadan biraz fazla. ModernBERT-tr’nin sınırı 8.192 parça, yani 40 bin karakter civarı, on beş yirmi sayfa.
Bunun hukukta önemi metnin türüne göre değişiyor.
Tek bir kanun hükmü kısa. Aşağıdaki ölçümde kullanılan 2.466 hüküm ortalama 120 parça tutuyor. İki model de hükmü rahatça okur, sınır burada fark yaratmaz.
Karar öyle değil. İçtihat korpusundaki 11 milyon kararın ortalama uzunluğu 2.850 karakter kadar, yani ortalama bir karar bile 512 parçayı aşıyor. BERTurk böyle bir kararın sonunu göremez. Hüküm fıkrası da kararın sonunda yer alır. Uzun bir Yargıtay ya da Anayasa Mahkemesi kararında kayıp daha da büyür. ModernBERT-tr aynı kararı baştan sona okuyabilir.
İkinci soru, hukuk metnini anlamada fark var mı?
Bunu görmek için beş modele aynı iş verildi. Modele bir kanun hükmü gösteriliyor ve dört soru soruluyor. Bu hüküm bir yükümlülük getiriyor mu? Bir hak tanıyor mu? Bir başvuru yolu sağlıyor mu? Bir yaptırım öngörüyor mu?
Birkaç örnek işi anlatmaya yeter. “Bir insanı kasten öldüren kişi, müebbet hapis cezası ile cezalandırılır” diyen hüküm yaptırım öngörür. Hukuki dinlenilme hakkını düzenleyen hüküm hak tanır. “Kusurlu ve hukuka aykırı bir fiille başkasına zarar veren, bu zararı gidermekle yükümlüdür” diyen hüküm yükümlülük getirir. Bir hüküm aynı anda birkaçına girebilir.
Beş model de 773 ayrı kanundan gelen aynı 2.466 hükümle, aynı ayarlarla eğitildi. Sonra iki ayrı sınavdan geçtiler. İlki çapraz doğrulamaVeriyi beş parçaya bölüp her seferinde dördüyle eğitip beşincisiyle sınama yöntemi. Böylece her örnek, onu eğitimde görmemiş bir modelle sınanır.. İkincisi, eğitimdeki kanunların hiçbirinden olmayan 600 hükümlük ayrı bir test. Puan F1Bulunması gerekenlerin ne kadarının bulunduğunu ve bulunanların ne kadarının doğru olduğunu tek sayıda özetleyen ölçü. 1 kusursuz, 0 hiç demek., 1’e ne kadar yakınsa o kadar iyi.
| Model | Çapraz doğrulama | Ayrı test |
|---|---|---|
| BERTurk | 0,869 | 0,855 |
| ModernBERT-tr | 0,862 | 0,867 |
| modernbert-tr-legal | 0,862 | 0,848 |
| mmBERT | 0,846 | 0,844 |
| NeoBERT | 0,741 | 0,790 |
BERTurk ile ModernBERT-tr arasındaki fark iki sınavda da ölçümün belirsizlik payının içinde kalıyor. 2020 tarihli BERTurk, hükmü anlamada daha yeni modelin gerisinde değil.
Hukuk metniyle ek eğitim görmüş model beklenen farkı yaratmadı. Tablodaki koşuda ayrı testte tabanının biraz gerisinde görünüyor. Bunu sınamak için iki modelin eğitimi beş ayrı tohumlaEğitimin başındaki rastgele ayarları belirleyen sayı. Aynı model aynı veriyle başka bir tohumla eğitilince sonuç biraz değişir. tekrarlandı. Gerilik kayboldu, model iki sınavda da tabanından ayrışmıyor. Oysa ek eğitim metinlerinin içinde kanun maddeleri de vardı, yani bu hükümlerin çoğunu daha önce okumuştu.
Tekrar bir şeyi daha gösterdi. ModernBERT-tr’nin kendisi ayrı testte tohuma göre 0,842 ile 0,867 arasında puan aldı. Tablodaki 0,01 ya da 0,02’lik farkları bu yüzden tek başına yorumlamamak gerekir.
Çok dilli mmBERT tablodaki koşuda ModernBERT-tr’nin biraz altında. Bu büyüklükte bir fark tohum oynaklığının içinde kalabiliyor, mmBERT için eğitim tekrarlanmadı.
NeoBERT’in geride kalmasının sebebi için ilk yazıya dönmek gerekiyor. NeoBERT’in tokenizer’ı Türkçe harfleri siliyor. “Hükümsüzlüğünün” kelimesini parçalayıp geri birleştirince “hukumsuzlugunun” geliyor. 2.466 hükmün hiçbirini aslına uygun geri veremedi.
| Model | Hüküm başına parça | Harfleri koruyarak geri verdiği hüküm |
|---|---|---|
| ModernBERT-tr | 119 | %99,9 |
| BERTurk | 125 | %99,8 |
| mmBERT | 203 | %100 |
| NeoBERT | 267 | %0 |
Model metnin harfleri silinmiş halini alıyor, üstüne iki kattan fazla parçaya bölünmüş olarak. İlk yazıda “model harf görmez, tokenizer’ın böldüğünü görür” demiştik. Burada onun sonucunu görüyoruz. En yeni mimari, dili tanımayan bir tokenizer’ın açığını kapatamıyor.
Modeller arasındaki farkların belirsizlik aralıklarıyla birlikte tam dökümü depoda duruyor.
Üçüncü soru, kararı parça parça vermek ile bütün vermek fark eder mi?
Bir kararda bir paragrafın ne olduğu çoğu zaman öncesine ve sonrasına bağlı. “Davalının kusurlu olduğu açıktır” cümlesi tek başına okununca mahkemenin görüşü gibi durur. Önceki paragraf “davacı vekili dilekçesinde şunları ileri sürmüştür” diye bitiyorsa aynı cümle bir tarafın iddiasıdır.
Bunu sınamak için iş şöyle kuruldu. Bir karardaki her gerekçe paragrafı için, bu mahkemenin kendi görüşü mü yoksa tarafın iddiası ya da başka bir kararın aktarımı mı, onu bulmak. 268 karar, 9.104 paragraf.
İlk yolda model her paragrafı tek başına okuyor, kararın geri kalanını görmüyor. İkinci yolda paragraflar yine tek tek okunuyor ama üstlerine kararı baştan sona gören küçük bir katman ekleniyor. Bu katman her paragrafa komşularını da hesaba katarak bakıyor. Üç ayrı katman denendi. Biri eski usul bir BiGRU, biri küçük bir Transformer, üçüncüsü HydraMamba’yı geliştiren ekibin çift yönlü modeli. Metin uzadıkça hesap yükü Transformer’daki gibi karesiyle değil, doğru orantılı büyüyor..
| Yöntem | Ortalama kesinlik |
|---|---|
| Paragrafı tek başına okumak | 0,952 |
| BiGRU | 0,969 |
| Küçük Transformer | 0,970 |
| Hydra | 0,965 |
Bu fark belirsizlik payının dışında. Bütüne hangi katmanla bakıldığı ise fark etmedi, üçü birbirinden ayrışmıyor.
Bu bir ilk deneme. Daha geniş halini ileride ayrı bir yazıda ele alacağız.
Buradan çıkan yol
Üç cevabı yan yana koyalım.
Bağlam genişliği kararın bütünüyle çalışırken belirleyici. Hukuk metnini anlamada BERTurk ile ModernBERT-tr arasında fark görünmedi. Kararı bütün olarak görmek, paragrafları tek tek okumaktan iyi sonuç verdi.
Üçü birlikte ModernBERT-tr’yi gösteriyor. Anlamada BERTurk’ten geri değil, kararın bütününü okuyabiliyor ve bütünü okumak işe yarıyor. Bu seride onunla devam edeceğiz.
Hukuk metniyle ek eğitim bu işte karşılığını vermedi. Emeği ek eğitime değil etiketlere vermek daha doğru görünüyor. Bir önceki yazıda hukuk verisiyle eğitmenin sonucu 0,37’den 0,93’e çıkardığını görmüştük. Kazancın geldiği yer orası oldu.
Açık kalan bir soru da var. Aynı karşılaştırma arama için yapılmadı. Bir kararı bulmak ile bir hükmü sınıflandırmak ayrı işler ve orada sıra değişebilir.
Veri ve kod
Eğitim ve değerlendirme 11 ve 12 Kasım 2026’da, beş tohumlu tekrar 13 Kasım’da yapıldı. Bütün sayılar, model sürümleri ve belirsizlik aralıkları depoda duruyor. Etiketli hükümler ve kararlar paylaşılmıyor, depoda yalnız toplu sonuçlar var.