İçeriğe geç
← Ana sayfa

Atıfları bulmak için kural yeter mi?

Mahkeme kararlarındaki atıflar elle yazılmış kurallarla ne kadar bulunuyor? Model neden ve nasıl eğitiliyor, neden GLiNER? Aynı 4.033 kararda karşılaştırma.

KısımOkumak
Teknik düzeyileri
Yayın12 Kasım 2026
KodGitHub
Okuma10 dk
Bir karar metninde, esas ve karar numarası içeren düzenli künye ile yalnız esas numarası içeren atfı farklı renklerle vurgulayan pastel çizim.

NER yazısındaki tabloda dikkat çeken bir satır vardı. Elle yazılmış kurallar, karar atıflarını bulmada hazır modellerin çok önündeydi. Buradan şu soru çıkıyor. Kuralı hukukçu kendisi yazabiliyorsa neden model eğitmekle uğraşılsın?

Bir kural neye benzer?

Bir kararda başka bir karara atıf çoğu zaman şöyle yazılır. Künye örnek olsun diye uyduruldu.

Hukuk Genel Kurulunun 12.03.2019 tarihli ve E. 2017/1234, K. 2019/567 sayılı kararı

Bu künyeyi yakalayan bir kural kabaca şunu söyler. Önce E harfi ve nokta gelir, sonra dört haneli bir yıl, eğik çizgi ve bir sayı. Ardından virgül, K harfi ve nokta, yine yıl, eğik çizgi ve sayı. Programcılar bunu düzenli ifadeBir metinde belirli bir biçime uyan parçaları aramak için yazılan kısa kalıp. İngilizcesi regular expression, kısaca regex. denen kısa bir kalıpla yazar.

E\. (\d{4})/(\d+), K\. (\d{4})/(\d+)

Kuralın iki iyi yanı var. Yazması birkaç dakika sürer ve neden işaretlediği bellidir. Kalıba uyan parçayı işaretler, uymayanı işaretlemez.

Ölçüm nasıl yapıldı?

İki yol aynı 4.033 mahkeme kararında karşılaştırıldı.

Birincisi kural tabanlı bir ayrıştırıcı. Yukarıdaki gibi tek bir kalıptan değil, yüz kadar kalıptan oluşuyor.

İkincisi, 40.000 kararla bu iş için eğitilmiş bir model. Adı GLiNER, aşağıda ayrıca anlatılıyor. Bu 4.033 karar modelin eğitiminde kullanılmadı.

Bir atıf, ancak kimliği doğru çıkarıldıysa bulunmuş sayıldı. Kanun maddesi atfında kimlik kanun ve madde numarası, karar atfında esas ve karar numarası. Modelin işaretlediği parçalar bu numaralara aynı kurallarla çevrildi.

İki şeye bakıldı. Sistemin çıkardığı atıfların ne kadarı doğru? Karardaki atıfların ne kadarını çıkarabildi?

Cevap anahtarı elle hazırlanmadı. Her karardaki atıfların listesini büyük bir dil modeli çıkardı. İnsan eliyle kontrol edilmiş bir anahtar değil ve kusurları var, aşağıda örnekleri görülecek. Kararlar da rastgele seçilmedi, çok atıf alan kararların ve kurul kararlarının ağırlıkta olduğu bir kümeden geliyor. Sonuçları buna göre okumak gerekir.

Kural ne kadarını buluyor?

Çıkardıklarından doğru olanı Atıflardan bulduğu
Kanun maddesi atfı, kural %97 %68
Kanun maddesi atfı, GLiNER %88 %73
Karar atfı, kural %94 %72
Karar atfı, GLiNER %86 %81

Kuralın ilk sütundaki sayıları çok yüksek. Kanun maddesi atfında yüz sonuçtan doksan yedisi doğru.

İkinci sütun başka bir şey söylüyor. Kural, atıfların yaklaşık üçte birini çıkaramıyor.

Kuralın sorunu yanlış işaretlemek değil, görmeden geçmek.

Model daha çoğunu buluyor ama aradaki fark beklenenden küçük. Sebebi ölçümün son adımında. Model atfın metindeki yerini kuraldan belirgin biçimde iyi buluyor. Yalnız yer bulmaya bakıldığında kanun maddesi atıflarının yüzde 91’ini, karar atıflarının yüzde 95’ini işaretliyor. İşaretlenen parçayı kanun ve madde numarasına çevirmek ise yine kurala kalıyor ve kazancın bir kısmı orada kayboluyor.

Kuralın kaçırdıkları

Modelin bulup kuralın kaçırdığı atıflara tek tek bakıldı. Kanun maddesi atıflarında 2.939, karar atıflarında 822 tane var. Kuralın bulup modelin kaçırdıkları ise 924 ve 58.

Kanun maddesi atıflarında en sık görülen biçimler şunlar. Örnekler biçimi göstermek için yazıldı.

Kuralın kaçırdığı biçim Örnek Sayı
Kanunun adı uzakta, önceki cümlede anılan Kanun’un 230. maddesi 562
Kanunun adı yazılı ama sayısı yok Borçlar Kanununun 125. maddesi 459
Fıkra eğik çizgiyle yazılmış 150/2 408
Kısaltma ve numara var, “madde” sözcüğü yok TBK’nin 26 344
“Madde” kısaltılmış md. 30 255
Numara ile “madde” bitişik 120.maddesi 188
Ek ya da geçici madde geçici 3. madde 156

İlk iki satır dikkat çekici. Kaçanların çoğu tuhaf bir yazım değil. Kural madde numarasını görüyor, ama hangi kanuna ait olduğunu çıkaramadığı için işaretlemiyor. 2.939 atfın 2.103’ü böyle.

Karar atıflarında tablo şöyle.

Kuralın kaçırdığı biçim Örnek Sayı
Yalnız esas numarası yazılmış 2015/123 Esasına 260
Esas ve karar tek çizgide birleşik 2010/4-123-456 sayılı 213
Özel dosya türü 2015/123 değişik iş 131
Tek numaralı künye 2015/123 sayılı 97
Eğik çizgiden sonra boşluk 2015/ 1234 E. 44
İki nokta üst üsteli künye E:2015/1234 33

İlk satır için bir not gerekiyor. Yalnız esas numarasıyla anılan dosyaların çoğu verilmiş bir karar değil, görülmekte olan bir dava. Cevap anahtarı bunları da atıf saymış.

Her biçim için yeni bir kural yazılabilir. Asıl soru, yazmanın ne kadar kazandırdığı.

Kural eklemek nereye kadar?

Kural ayrıştırıcının geçmiş sürümleri, 1.993 kararlık ayrı bir kümede yeniden çalıştırıldı. Her sürümde kaç kalıp olduğu ve kanun maddesi atıflarının ne kadarını bulduğu şöyle.

Kalıp sayısı Kanun maddesi atıflarından bulduğu
42 %23
56 %52
79 %65
95 %68
100 %68

İlk on dört kalıp bulma oranını iki katından fazlasına çıkardı. Sonraki yirmi üç kalıp on üç puan ekledi. Son yirmi bir kalıp yalnız üç puan getirdi. Bu son kalıplar boşa yazılmadı, isabeti yüzde 89’dan yüzde 97’ye çıkardılar. Ama bulunan atıf sayısı artık artmıyor.

Karar atıflarında durum daha keskin. Bulma oranı 56 kalıpta yüzde 70’e çıktı ve sonraki 44 kalıpta hiç değişmedi.

Her yeni kural bir öncekinden daha az kazandırıyor.

Eski kararlarda kural daha çok kaçırıyor

Kural ile model arasındaki fark kararın yılına göre değişiyor. Aşağıdaki tablo, karar atıflarının metindeki yerini bulma oranını gösteriyor.

Kararın yılı Kural GLiNER
2000 öncesi %64 %95
2000-2009 %70 %96
2010-2019 %76 %95
2020 ve sonrası %84 %96

Kural yeni kararlarda daha iyi, eski kararlarda daha çok kaçırıyor. Model her dönemde aynı düzeyde. Sebebi ayrıca incelenmedi. Eski kararlarda künye yazımının daha dağınık olması akla gelen ilk açıklama.

Mahkemeye göre bakıldığında kuralın en zayıf olduğu yer ilk derece mahkemesi kararları. Bu kararlardaki karar atıflarının yüzde 67’sini buluyor, model yüzde 94’ünü.

Modelin geride kaldığı bir yer de var. Anayasa Mahkemesi kararlarında karar atıflarını kural daha iyi buluyor, yüzde 97’ye karşı yüzde 74. Bu kararlarda atıflar bireysel başvuru numarasıyla yapılıyor. Kümede yalnız 35 Anayasa Mahkemesi kararı olduğu için bu sonuç temkinli okunmalı.

Model neyi değiştiriyor?

Model kalıp aramıyor. Binlerce örnekten atfın neye benzediğini öğreniyor, bu yüzden kalıba uymayan yazımları da yakalayabiliyor. Karar atıflarının yüzde 95’inin yerini bulması bundan.

Buradan iki soru çıkıyor. Model bunu nasıl öğreniyor ve neden bu model seçildi?

Model nasıl eğitiliyor?

Modele kural yazılmıyor, örnek gösteriliyor. Bir örnek, kararın bir parçası ve o parçadaki atıfların yeridir.

Davalının sorumluluğu 6098 sayılı Türk Borçlar Kanunukanun adı’nun 49. maddesimadde atfı uyarınca değerlendirilmiştir.

Hukuk Genel Kurulunun 12.03.2019 tarihli ve E. 2017/1234, K. 2019/567karar atfı sayılı kararında da aynı sonuca varılmıştır.

Bir eğitim örneği böyle görünür. Metin ve içindeki atıfların yeri. Cümleler örnek olsun diye yazıldı.

Bu modelin eğitiminde 40.000 karar kullanıldı. Kararlar 768 kelimelik parçalara bölündü ve 70.407 parça çıktı. Bu kararlarda 189.302 kanun maddesi atfı ve 42.191 karar atfı işaretliydi.

Bu kadar atfı elle işaretlemek çok uzun sürerdi. Her karardaki atıfların listesini büyük bir dil modeli çıkardı, listedeki atıfların metindeki yeri de kurallarla bulundu. BERT yazısındaki öğretmen ve öğrenci düzeni burada da geçerli. Büyük model öğretmen, eğitilen küçük model öğrenci.

Eğitimin kendisi şöyle işliyor. Model bir parçayı okuyup atıf olduğunu düşündüğü yerleri işaretliyor. İşaretleri cevap anahtarıyla karşılaştırılıyor. Yanıldığı ölçüde modelin içindeki sayılar çok az değiştiriliyor ve sıradaki parçaya geçiliyor. Bu modelde bu adım 2.201 kez tekrarlandı ve her parça bir kez görüldü. Tek bir ekran kartında yaklaşık sekiz saat sürdü.

Modelin ezberleyip ezberlemediği ara sınavla anlaşılıyor. Eğitimde hiç kullanılmayan 200 karar ayrıldı ve model belirli aralıklarla bu kararlarda sınandı. Eğitimin dörtte biri geçtiğinde karar atfı puanı 0,91’e ulaşmıştı. Asıl sınav olan 4.033 karar da eğitimde yoktu.

Neden GLiNER?

Bu iş için iki ayrı türde model eğitildi.

Birincisi alışılmış yol. BERT yazısında seçilen ModernBERT-tr’nin üstüne bir etiketleyici kuruldu. Bu model metindeki her parçaya “atfın içinde” ya da “atfın dışında” diyor.

İkincisi GLiNERAranan şeyin adını da girdi olarak alan bir model ailesi. Metinle birlikte “kişi adı” ya da “kanun maddesi atfı” gibi bir etiket verilir, model o etikete uyan parçaları işaretler.. Bu modelde aranan şeyin adı da modele yazıyla veriliyor. “Kanun maddesi atfı” yazılıyor, model onu arıyor.

GLiNER’in bu iş için üç çekici yanı vardı.

Tek model üç işi birden yapıyor. Kanun maddesi atfını, kanun adını ve karar atfını aynı geçişte buluyor, maddeyi de kanununa bağlıyor.

Hazır hali hiç eğitilmeden de bir şeyler buluyor. Bu sayede eğitimin ne kattığı açıkça görülüyor. Hazır GLiNER karar atıflarında 0,37 almıştı, eğitimden sonra 0,93 aldı.

Tabanı açık lisanslı. Eğitilmiş hali de aynı lisansla paylaşılabiliyor.

Sonuçta ModernBERT-tr tabanlı etiketleyici daha iyi çıktı. Tablo, atfın metindeki yerini bulma puanını gösteriyor.

Kanun maddesi atfı Karar atfı
ModernBERT-tr tabanlı etiketleyici 0,965 0,934
GLiNER 0,894 0,928

Karar atfında iki model birbirine çok yakın, kanun maddesi atfında etiketleyici belirgin biçimde önde. Sebebi ayrıca ölçülmedi. BERT yazısındaki sonuçla aynı yönde olduğu söylenebilir, orada da Türkçe için eğitilmiş taban çok dilli tabanın önündeydi. GLiNER’in tabanı çok dilli.

Açık olan model GLiNER, gliner-tr-legal-extraction adıyla Hugging Face’te duruyor.

Modelin bedeli

Modelin kurala göre üç bedeli var.

Birincisi, daha çok yanlış çıkarıyor. Cevap anahtarına göre GLiNER’in işaretlediği yüz kanun maddesi atfından on ikisi yanlış. Bu yanlışların dökümü yapıldığında yüzde 62’sinin anahtarda bulunmayan ama gerçek atfa benzeyen parçalar olduğu görüldü. Yani modelin gerçek hata payı bundan düşük olabilir, eksik olan anahtarın kendisi. Geri kalanların çoğu, hangi kanuna ait olduğu belli olmayan madde numaraları. Karar atıflarında en sık yanlış, görülmekte olan bir davanın esas numarasını karar sanmak.

İkincisi, eğitmek için etiketli örnek ve işlem gücü gerekiyor. Yukarıdaki sayılar bunun ölçüsünü veriyor.

Üçüncüsü hukukçu için belki en önemlisi. Kural neden işaretlediğini söyler, model yalnız bir puan verir. Bir hata çıktığında kuralda hangi kalıbın yanıldığı bulunur ve düzeltilir. Modelde düzeltmenin yolu yeni örneklerle yeniden eğitmektir.

İkisi birlikte

Kural mı model mi sorusunun cevabı ikisi de, ama iş bölümü beklenenden farklı çıktı.

Atıf çıkarmak iki adım. Önce atfın metindeki yeri bulunur, sonra bulunan parça kanun ve madde numarasına çevrilir. Yer bulmada model açık farkla önde. Çevirme adımı bu ölçümde hep kurallarla yapıldı ve kaybın büyük kısmı orada.

Kural ile GLiNER’in işaretleri birleştirildiğinde kanun maddesi atıflarında bulma oranı yüzde 73’ten yüzde 75’e çıkıyor. Küçük, ama ölçümün belirsizlik payının dışında bir kazanç. Karar atıflarında birleştirmenin GLiNER’e bir katkısı olmadı.

Tersi de denendi. Yalnız ikisinin de işaretlediği yerler alındığında isabet yüzde 98’e çıkıyor, bulma oranı ise kuralın da altına iniyor. Hiç yanlış istenmeyen bir iş için bu yol düşünülebilir.

En iyi sonuç üçüncü bir düzenekten geldi. Bu düzenekte yer bulmayı yukarıdaki etiketleyici yapıyor. Maddenin hangi kanuna ait olduğuna da kural yerine, ayrıca eğitilmiş küçük bir model karar veriyor.

Kanun maddesi atfı F1Çıkarılanların ne kadarının doğru olduğunu ve bulunması gerekenlerin ne kadarının bulunduğunu tek sayıda özetleyen ölçü. 1 kusursuz, 0 hiç demek.
Kural 0,80
GLiNER, çevirme kuralla 0,80
Kural ile GLiNER birlikte 0,81
Etiketleyici, çevirme kuralla 0,82
Etiketleyici, kanuna bağlama modelle 0,89

Tablonun son iki satırı arasındaki fark yazının belki en önemli sonucu. Kuralın asıl zorlandığı yer kalıp tanımak değil, bir madde numarasının hangi kanuna ait olduğunu bulmak. O iş de örneklerden öğrenilebiliyor.

Bu sonuçlarla ne yapılabilir?

Kendi belgelerinde atıf bulmak isteyen biri için sıra şöyle olabilir.

Önce kural. Belgelerdeki yazım biçimi az sayıdaysa, örneğin hep aynı büronun dilekçeleriyse, birkaç kalıp işin çoğunu görür.

Sonra ölçmek. Rastgele seçilmiş yüz belgede kuralın kaçırdıkları elle sayılmadan kuralın yettiği söylenemez. Yukarıdaki ayrıştırıcı da çıkardığı atıflarda yüzde 97 doğruydu ve dışarıdan bakınca kusursuz görünüyordu.

Kaçan pay önemliyse model. Atıf ağı kurmak ya da bir karara atıf yapan bütün kararları bulmak gibi işlerde kaçan her atıf eksik bir bağlantı demek.

Veri ve kod

Eğitilmiş model Hugging Face’te açık. Kullanım örneği, eğitim ayrıntıları ve sınırları model kartında yazıyor.

Dökümün bütün tabloları, kategori tanımları ve yöntem notu depoda duruyor. Aynı klasörde eğitilmiş modelin elle yazılmış 24 cümledeki denemesi de var, kendi bilgisayarınızda çalıştırabilirsiniz.

Ölçüm Kasım 2026’da yapıldı. Karar metinleri paylaşılmıyor, yalnız toplu sonuçlar var.

Kaynaklar

neratifhukukdeney