Prompt, bağlam ve dikkat eksikliği
Uzun bir kararı ya da bir dosya dolusu kararı okuyan model metnin her yerini aynı başarıyla okuyor mu? Dikkat, bağlam ve prompt ne demek, dokuz modelle iki ölçüm.

Tanıdık bir durumla başlayalım. Altmış sayfalık bir karar ya da on kararlık bir dosya ChatGPT’ye, Claude’a ya da Gemini’ye yükleniyor ve bir soru soruluyor. Cevap birkaç saniyede geliyor. Model o altmış sayfanın her yerini aynı başarıyla okudu mu?
Bu yazı o soruya bakıyor. Önce üç kavramı tanıyacağız. Dikkat, bağlam ve prompt. Sonra Türkçe mahkeme kararlarıyla yapılan iki ölçümün sonuçlarına geçeceğiz.
Dikkat nedir?
ChatGPT, Claude ve Gemini’nin dayandığı mimari 2017’de yayımlanan bir makaleyle tanıtıldı. Makalenin adı “Attention Is All You Need”, Türkçesiyle “Tek gereken dikkat”. Buradaki dikkat, modelin metni okuma biçiminin adı.
İlk yazıda modelin metni parçalara ayırdığını görmüştük. Model bir parçayı işlerken metindeki öbür parçalara bakıyor ve her birine bir ağırlık veriyor. O an hangi parçanın ne kadar hesaba katılacağını bu ağırlık belirliyor. NER yazısında BERT’in bir kelimeye bakarken cümlenin solunu ve sağını birlikte okuduğunu söylemiştik. O okuma bu ağırlıklarla yapılıyor.
Bir örnekle düşünelim. “Davalı şirket ödeme emrini 14.03.2019 tarihinde tebellüğ etmiştir” cümlesi var ve “ödeme emri hangi tarihte tebellüğ edildi” diye soruluyor. Doğru cevap için ağırlığın tarihe toplanması gerekir. Cümlenin geri kalanı o an için daha az önemlidir.
Bu ağırlıkların bir özelliği var. Toplamları sabit. Bir yere daha çok dikkat verilirse başka bir yerden eksiliyor. Metin bir sayfayken dikkat birkaç yüz parça arasında paylaşılıyor. Metin yüz sayfa olunca on binlerce parça arasında paylaşılıyor.
Model, eğitim sırasında dikkatini ilgili yere toplamayı öğreniyor. Yine de metin uzadıkça ilgili cümleyle yarışan cümlelerin sayısı artıyor. Başlıktaki dikkat eksikliği buradan geliyor. Uzun metinde dikkatin eksik kaldığı yerler oluyor mu, oluyorsa nerede oluyor, ölçerek göreceğiz.
Bağlam nedir?
Hangi BERT yazısında bağlam genişliğini tanımlamıştık. Bir modelin bir seferde okuyabileceği metnin üst sınırı. BERTurk’te bu sınır 512 parçaydı, ModernBERT-tr’de 8.192.
Sohbet için kullanılan büyük modellerde sınır çok daha geniş. Anthropic’in güncel Claude modellerinde bir milyon parça. Şirketin verdiği ölçüyle bu yaklaşık 2,5 milyon karakter ediyor, kabaca bin sayfa.
Altmış sayfalık bir karar bu pencereye rahatça sığıyor. Sığması, her satırının cevaba aynı ölçüde yansıdığı anlamına gelmiyor. Bunu ayrıca ölçmek gerekiyor.
Prompt nedir?
Prompt denince çoğu zaman yalnız yazılan soru akla geliyor. Modelin önüne ise yüklenen karar, başına yazılan talimat ve sondaki soru tek bir metin olarak geliyor. Model cevabını bu metne ve eğitimde öğrendiklerine dayanarak yazıyor.
Bu yüzden neyin nereye yazıldığı sonucu etkileyebiliyor. Soru belgenin önüne mi yazılmalı, arkasına mı? Anthropic’in kılavuzu uzun belgenin başa, sorunun sona konmasını öneriyor. Şirket kendi testlerinde bu sıranın cevap kalitesini yüzde 30’a kadar artırdığını söylüyor.
Sorunun hangi kelimelerle sorulduğu da prompt’un parçası. Bir hukukçu “ödeme emri hangi tarihte tebellüğ edilmiştir” diye sorar. Müvekkili aynı şeyi “ödeme emri elime ne zaman geçmiş” diye sorar. İkisi aynı bilgiyi arıyor ama ikinci soruda kararın kelimeleri yok.
Üç soru
Bu üç kavramdan üç soru çıkıyor.
- 1Aranan bilgi metnin ortasındaysa model onu daha çok kaçırıyor mu?
- 2Metin uzadıkça kaçırma artıyor mu?
- 3Sorunun yeri ve dili sonucu değiştiriyor mu?
İlki dikkatle, ikincisi bağlamla, üçüncüsü prompt’la ilgili.
Daha önce ne ölçüldü?
Bu sorular yeni değil. Üç çalışmaya bakalım.
2023’te Liu ve arkadaşları modellere çok sayıda belge verdi ve cevabın bulunduğu belgenin sırasını değiştirdi. Cevap baştaki ya da sondaki belgedeyken başarı en yüksekti, ortadaki belgedeyken belirgin biçimde düşüyordu. Makalenin adı da buradan geliyor, “Lost in the Middle”, yani ortada kaybolmak.
2025’te Chroma adlı şirket 18 modeli denedi. Metin uzadıkça sonuçlar basit işlerde bile daha az güvenilir hale geliyordu. Araya cevaba benzeyen ama cevap olmayan tek bir cümle koymak da başarıyı düşürüyordu.
Aynı yıl yayımlanan NoLiMa çalışması sorunun diline baktı. Soru ile aranan cümle aynı kelimeleri paylaşmadığında, denenen 13 modelin 11’i 32 bin parçalık metinde kısa metindeki başarısının yarısının altına indi.
Üç çalışma da İngilizce metinle ve yayımlandıkları dönemin modelleriyle yapıldı. Bugünkü modellerde ve Türkçe hukuk metninde aynı şey görülüyor mu, ona bakalım.
Ölçüm nasıl yapıldı?
Kişisel verileri maskelenmiş gerçek Yargıtay kararları art arda eklenerek uzun belgeler kuruldu. Üç uzunluk denendi. 4 bin, 16 bin ve 64 bin parça. Karakter sayısıyla 13 bin, 53 bin ve 212 bin, sayfa hesabıyla kabaca 5, 20 ve 80 sayfa.
Her belgenin beş ayrı yerine aynı kalıpta birer cümle eklendi. Kalıp aynı, şirket adı ve tarih farklı.
Davalı Zernova Lojistik A.Ş., ödeme emrini 14.03.2019 tarihinde tebellüğ etmiştir.
Şirket adları uydurma. Beş cümle belgenin başına, çeyreğine, ortasına, üç çeyreğine ve sonuna yerleştirildi.
Sonra şirketlerden biri soruldu. Belge hiç değişmedi, yalnız hangi şirketin sorulduğu değişti. Böylece aynı belgede başta, ortada ve sonda duran bilginin ne kadar bulunduğu karşılaştırılabildi. Öbür dört cümle de işe yarıyor. Model sorulan şirket yerine başka bir şirketin tarihini yazarsa bu ayrıca sayıldı.
Her soru iki biçimde soruldu.
| Biçim | Soru |
|---|---|
| Hukuk diliyle | Zernova Lojistik A.Ş. ödeme emrini hangi tarihte tebellüğ etmiştir? |
| Gündelik dille | Ödeme emri Zernova Lojistik’in eline hangi gün geçmiştir? |
Yirmi ayrı kalıp kullanıldı. Islah, temerrüt, tahliye, cezai şart, feragat, fesih, keşif ve vekalet ücreti bunlardan birkaçı. Ana ölçümde soru belgenin sonuna yazıldı. Ayrı bir kolda aynı sorular belgenin başına yazıldı.
Cevaplar bir kuralla puanlandı. Model sorulan şirketin değerini yazdıysa doğru sayıldı. Başka bir şirketin değerini yazdıysa karıştırma, “metinde yok” dediyse bulamama sayıldı. Puanlamada başka bir model kullanılmadı.
Soruların konusu hukuk ama ölçtükleri şey hukuk bilgisi değil. Model bir tarihi, tutarı ya da dosya numarasını metinden bulup yazıyor, sürenin geçip geçmediğine ya da temerrüdün oluşup oluşmadığına karar vermiyor. Hukuk bilgisi yalnız sorunun dilinde işe karışıyor. Kararda “tebellüğ etmiştir” yazarken “eline ne zaman geçti” diye sorulduğunda modelin ikisinin aynı şey olduğunu bilmesi gerekiyor.
İki de kontrol var. İlkinde belgede hiç geçmeyen bir şirket soruldu. Doğru cevap “metinde yok”. İkincisinde kararlar çıkarıldı ve modele yalnız beş cümle verildi. Bu kontrol soruların kendi başına cevaplanabildiğini gösteriyor.
İlk ölçümde beş model denendi. OpenAI’nin GPT-6 Astra, GPT-6.1 Terra ve GPT-6 Luna modelleri, DeepSeek V4.1 Flash ve GLM-5.3 Flash. Her modele 1.360 soru soruldu.
İlk sonuç, görev kolay geldi
Önce genel tabloya bakalım. Sayılar doğru cevap yüzdesi.
| Model | 5 sayfa | 20 sayfa | 80 sayfa |
|---|---|---|---|
| GPT-6 Astra | 100 | 100 | 100 |
| GPT-6.1 Terra | 100 | 99,8 | 100 |
| GPT-6 Luna | 99,5 | 98,8 | 99,5 |
| DeepSeek V4.1 Flash | 100 | 100 | 99,5 |
| GLM-5.3 Flash | 99,5 | 100 | 99,5 |
Beş model de aranan bilgiyi hemen her seferinde buldu. Bilginin başta, ortada ya da sonda durması fark etmedi. Belgenin 5 sayfa ya da 80 sayfa olması da fark etmedi.
Bu sonuç görevin kolay olduğunu gösteriyor. Şirket adı metinde tek bir yerde geçiyordu ve soru o adı taşıyordu. Aranan cümle sorunun kelimelerini de taşıyordu. Model adı ve fiili eşleştirerek cevaba ulaşabiliyordu. Gerçek bir dosyada iş her zaman bu kadar kolay olmaz.
Görev zorlaştırıldı
İkinci ölçümde üç şey değişti.
Birincisi, aranan cümle artık sorunun kelimelerini taşımıyor. Soru yine “ödeme emrini hangi tarihte tebellüğ etmiştir” diye soruluyor. Metindeki cümle ise şöyle.
İcra müdürlüğünce gönderilen ödeme emri, 12.03.2019 itibarıyla davalı şirkete usulüne uygun olarak ulaşmıştır.
İkincisi, şirketin adı bu cümlede geçmiyor. Ad yalnız bir tanıtım cümlesinde var, “Zernova Lojistik A.Ş., yargılamada davalı sıfatıyla yer almaktadır”. Tarihi veren cümle birkaç paragraf sonra geliyor ve şirketi yalnız “davalı şirket” diye anıyor. Modelin iki cümleyi birbirine bağlaması gerekiyor.
Üçüncüsü, araya yanıltıcı cümleler kondu. Adı çok benzeyen başka şirketler (Zernova Nakliyat A.Ş.), aynı şirketin başka bir olayı (ödeme emrine itiraz tarihi) ve mahkemenin doğrulamadığı bir iddia.
… tebellüğ ettiğini ileri sürmüş ise de bu iddia dosya kapsamıyla doğrulanmamıştır.
Her belgede sorulan beş şirkete karşılık 25 yanıltıcı kayıt var.
Bu ölçüme dört model daha eklendi. Google’ın Gemini 4 Hydrogen ve Gemini 4 Carbon modelleri ile Anthropic’in Claude Sonnet 5.5 ve Claude Haiku 5.5 modelleri. Her modele 2.240’a kadar soru soruldu. Sonnet 80 sayfalık belgelerle denenmedi.
| Model | 5 sayfa | 20 sayfa | 80 sayfa |
|---|---|---|---|
| GPT-6 Astra | 99,8 | 98,8 | 100 |
| GPT-6.1 Terra | 94,0 | 90,0 | 93,5 |
| Gemini 4 Hydrogen | 90,2 | 90,8 | 93,0 |
| Gemini 4 Carbon | 89,5 | 90,8 | 91,5 |
| Claude Sonnet 5.5 | 74,0 | 87,0 | yok |
| GPT-6 Luna | 76,5 | 76,8 | 75,5 |
| Claude Haiku 5.5 | 65,5 | 77,2 | 75,0 |
| GLM-5.3 Flash | 60,2 | 65,0 | 66,0 |
| DeepSeek V4.1 Flash | 9,8 | 26,5 | 22,0 |
İlk ölçümde beş model de yüzde 99 ile 100 arasındaydı. Görev zorlaşınca aralarındaki fark açıldı.
Tabloyu okurken iki şeyi bilmek gerekiyor.
Birincisi puanlama. Bir cevap doğru değeri içeriyorsa doğru sayıldı, model yanına iddiadaki değeri de yazmış olsa bile. İlk puanlamada bu cevaplar yanlış sayılıyordu. Kural bütün modeller için değiştirildi ve tablo yeniden hesaplandı. Değişiklik en çok GLM’yi etkiledi, 3 ile 5 puan. Öbür modellerde fark bir puanın altında.
İkincisi görevin kendi zorluğu. Aynı sorular karar metni olmadan, yalnız eklenen cümlelerle de soruldu. Astra bunların yüzde 98’ini, Terra yüzde 95,5’ini, iki Gemini modeli yüzde 88 ve 89’unu doğru bildi. Sonnet yüzde 75’te, Haiku yüzde 70’te, Luna yüzde 64’te, GLM yüzde 57’de, DeepSeek yüzde 29’da kaldı. Yani bu beş modelde tablo uzun metnin zorluğunu ve görevin kendi zorluğunu birlikte gösteriyor.
Birinci soru, ortadaki bilgi daha çok kaçıyor mu?
Luna’da ortadaki bilgi her uzunlukta uçlardakinden daha çok kaçtı. 80 sayfalık belgelerde fark 26 puan. DeepSeek’te de her uzunlukta aynı yön var. GLM’de fark yalnız 20 sayfalık belgelerde belirsizlik payının dışına çıktı. Astra, Terra ve iki Gemini modelinde konumun etkisi görülmedi. Haiku’da ortadaki bilgi 6 puan daha az bulundu ama fark belirsizlik payının içinde. Sonnet’te 5 ve 20 sayfalık belgelerde fark yok.
Bu karşılaştırma her modelin kendi içinde yapılıyor, aynı model aynı soruyu başta, ortada ve sonda görüyor. Görevin o model için zor olması bu yüzden sonucu bozmuyor.
Liu ve arkadaşlarının 2023’te gördüğü biçim burada da görünüyor. Baştaki ve sondaki bilgi daha kolay bulunuyor. Yalnız bu her modelde ve her görevde ortaya çıkan bir şey değil.
İkinci soru, metin uzadıkça ne oluyor?
İki ölçümde de aynı sonuç çıktı. Kolay görevde beş model 5 sayfada da 80 sayfada da yüzde 99’un üstündeydi. Zor görevde hiçbir modelde 5 sayfadan 80 sayfaya bir düşüş yok. DeepSeek, Haiku ve Sonnet’te tersine en düşük sonuç en kısa belgede.
Bunun bir sebebi kurulumda. Zor ölçümde 5 sayfalık belgeye de aynı sayıda cümle eklendi ve eklenen cümleler metnin üçte birini tuttu. En kısa belge aynı zamanda en kalabalık belgeydi. Uzunluğun etkisi ile kalabalığın etkisi bu ölçümde birbirinden ayrılamıyor.
80 sayfadan uzun belgeler denenmedi.
Üçüncü soru, sorunun yeri ve dili fark ediyor mu?
Önce sorunun yeri. Kolay görevde, 20 sayfalık belgelerde sonuç şöyle.
| Model | Soru sonda | Soru başta |
|---|---|---|
| GPT-6 Astra | 100 | 100 |
| GPT-6.1 Terra | 100 | 100 |
| GPT-6 Luna | 98,3 | 85,8 |
| DeepSeek V4.1 Flash | 100 | 81,7 |
| GLM-5.3 Flash | 100 | 100 |
Soru belgenin başına yazılınca iki modelde doğruluk düştü. Yanlış cevapların çoğu “metinde yok” oldu.
Zor görevde tablo karıştı. Bu kez soruyu hem başa hem sona yazmak da denendi.
| Model | Soru sonda | Soru başta | İkisinde de |
|---|---|---|---|
| GPT-6 Astra | 100 | 100 | 100 |
| GPT-6.1 Terra | 87,5 | 96,0 | 93,5 |
| Gemini 4 Hydrogen | 91,0 | 95,0 | 93,5 |
| Gemini 4 Carbon | 88,0 | 91,5 | 90,0 |
| Claude Sonnet 5.5 | 86,5 | 90,0 | 89,5 |
| GPT-6 Luna | 77,5 | 75,0 | 81,0 |
| Claude Haiku 5.5 | 76,0 | 79,5 | 77,0 |
| GLM-5.3 Flash | 63,5 | 67,5 | 69,0 |
| DeepSeek V4.1 Flash | 23,5 | 14,5 | 19,5 |
Terra ve Hydrogen’da soru başa yazılınca sonuç iyileşti. DeepSeek’te yine kötüleşti. Bu tabloda öbür modellerdeki farklar belirsizlik payının içinde. Soruyu iki yere birden yazmak yalnız Hydrogen’da sona yazmaktan 2,5 puan iyi çıktı.
Anthropic’in kılavuzu soruyu sona yazmayı öneriyordu. Bu ölçümde iki Claude modelinde sorunun yeri belirgin bir fark yaratmadı.
Sorunun diline gelince, kolay görevde gündelik dille sorulan sorular hukuk diliyle sorulanlar kadar doğru cevaplandı. Fark en çok bir puan.
Zor görevde beklenmeyen bir şey görüldü. Hukuk diliyle sorulan sorular her modelde daha kötü cevaplandı. Terra’da 20 sayfalık belgelerde 15 puan, Luna’da 17 ile 27 puan arası. Fark en çok Claude modellerinde. Haiku hukuk diliyle sorulan soruların yüzde 39 ile 61’ini, gündelik dille sorulanların yüzde 92’sini doğru cevapladı. Sonnet’te fark 23 ile 44 puan. En olası açıklama kurulumda. Zor ölçümde “tebellüğ” gibi terimler doğru cümlede geçmiyor, yalnız yanıltıcı cümlelerde geçiyor. Soru o terimi taşıyınca model ya terimin geçtiği yanıltıcı cümleye gidiyor ya da “metinde yok” diyor. Bu açıklama ayrıca sınanmadı. Yukarıdaki tabloda Claude modellerinin sırası büyük ölçüde bu tuzaktan geliyor, uzun metinle ilgisi sınırlı.
Model yanılınca ne yazıyor?
Metinde hiç geçmeyen bir şirket sorulduğunda bütün modeller 40 sorunun 40’ında “metinde yok” dedi. Olmayan bir bilgiyi uyduran çıkmadı.
Hata öbür yönde çıktı. Zor görevde Terra’nın soru sonda kolundaki 77 yanlışının 76’sı “metinde yok” cevabıydı. Bilgi metinde vardı. İki Gemini modelinin ve Sonnet’in yanlışlarının da neredeyse tamamı aynı türden.
Daha zayıf modeller ayrıca yanlış cümleye gitti. Luna’nın başka bir değeri yazdığı 164 cevabın 137’sinde yazılan değer, doğrulanmamış iddia cümlesindeki değerdi. Hangi BERT yazısında bir paragrafın mahkemenin kendi görüşü mü yoksa tarafın iddiası mı olduğunu ayırmanın ayrı bir iş olduğunu görmüştük. Aynı ayrım burada büyük modelin önüne çıkıyor.
Bu sonuçlarla ne yapılabilir?
Tek bir bilgi metinde kendi adıyla geçiyorsa, denenen beş model onu 80 sayfalık belgede de buldu. Bu tür sorularda bilginin yeri ya da belgenin uzunluğu bir sorun yaratmadı.
Soru metindeki iki ayrı cümleyi birbirine bağlamayı gerektirdiğinde durum değişti. Bu ölçümde modeller arasındaki fark konumun etkisinden çok daha büyük çıktı. Aynı sorularda en güçlü model yüzde 99, onu izleyen üç model yüzde 90 civarında, en zayıfı yüzde 10 ile 27 arasında doğru cevap verdi. Hangi modelin kullanıldığı, bilginin belgenin neresinde durduğundan daha belirleyici oldu.
“Metinde yok” cevabına kesin gözüyle bakmamak gerekiyor. İkinci en güçlü model zor sorularda yüz sorunun yaklaşık sekizinde metinde bulunan bilgiye “yok” dedi.
Sorunun yeri için tek bir kural çıkmadı.
Son bir gözlem serinin sonraki kısmına bağlanıyor. Bu ölçümde belgenin uzunluğu tek başına sorun çıkarmadı. Sorun çıkaran, aranan cümleye benzeyen başka cümlelerin çokluğuydu. Üç modelde en kötü sonuç en uzun belgede değil, benzer cümlelerin en sık olduğu 5 sayfalık belgede alındı. Öbür modellerde uzunluklar arasında fark görülmedi. Modelin önüne ne kadar metin geldiğinden çok, gelen metnin içinde ne kadar benzer ama ilgisiz parça olduğu belirleyici oldu.
Bu, modelin önüne neyin getirildiği sorusunu öne çıkarıyor. Bir arama sistemi soruyla ilgili parçayı getirip benzer görünen ilgisiz parçaları dışarıda bırakabiliyorsa modelin işi kolaylaşır. Getiremiyorsa modelin önüne tam da bu ölçümdeki gibi birbirine benzeyen paragraflar yığılır. Metnin modelin önüne eksiksiz ve doğru gelip gelmediğine serinin Bulmak kısmında bakacağız.
Veri ve kod
Ölçümler 13 ile 15 Kasım 2026 arasında yapıldı. İki ölçümde modellere toplam 27 binden fazla soru soruldu. Dört yeni model yalnız zor ölçümde denendi. Claude Opus 5.5 ölçümü sürüyor, bitince eklenecek.
Kalıplar, sorular, puanlama betiği ve toplu sonuçlar depoda duruyor. Karar metinleri paylaşılmıyor.
Yeni puanlama kuralı zor ölçümün ana tablosuna uygulandı. Konum grafiği ve sorunun yeri tablosu ilk kuralla verildi. İki kural arasındaki fark bu ikisinde yalnız GLM satırını etkiliyor, en çok 3 puan.