orta
Türkçe hukuk metninde altı tokenizer
Aynı 300 belge altı tokenizer’da kaç parça tutuyor, geri birleştirince aynı metin çıkıyor mu, ne kadarı sınıra sığıyor? Ölçüm, sonuçlar ve bunlarla ne yapılabileceği.
Etiket
Aynı 300 belge altı tokenizer’da kaç parça tutuyor, geri birleştirince aynı metin çıkıyor mu, ne kadarı sınıra sığıyor? Ölçüm, sonuçlar ve bunlarla ne yapılabileceği.
Bir yapay zeka modeli Türkçe bir hukuk metnini okumadan önce onu küçük parçalara ayırır. Bu ilk adım nasıl işliyor, Türkçede neden zorlanıyor?