Log Olasılık Nedir?
İngilizce: Log Probability
Yayın: · Son güncelleme:
Log Olasılık Nedir? Kısaca
Log olasılık (log probability, logprob), bir olayın olasılığının doğal logaritmasıdır. Dil modellerinde her tokenin seçilme olasılığını ifade etmek için kullanılır; değer 0'a yaklaştıkça olasılık yüksek, eksi yönde büyüdükçe düşüktür.
İçindekiler
Log olasılık, olasılık değerlerini daha kullanışlı bir ölçeğe taşır. Olasılık 0 ile 1 arasındayken, log olasılık eksi sonsuz ile 0 arasında bir değer alır.
Log olasılık nedir?
Bir olasılığın logaritmasını almak, onu yeni bir ölçeğe çevirmektir:
| Olasılık | Log olasılık (yaklaşık) |
|---|---|
| 1 | 0 |
| 0,5 | -0,69 |
| 0,1 | -2,30 |
| 0,01 | -4,61 |
Görüldüğü gibi olasılık azaldıkça log olasılık eksi yönde büyür.
Neden logaritma kullanılır?
Bir dil modeli bir cümlenin olasılığını hesaplarken her tokenin olasılığını çarpar. Yüzlerce küçük sayıyı çarpmak, bilgisayarda sıfıra yuvarlanma sorununa yol açar. Logaritmada çarpım toplama dönüşür; böylece hesap hem kararlı hem de kolay olur. Eğitimde kullanılan çapraz entropi kaybı da doğru tokenin negatif log olasılığına dayanır.
Dil modellerinde nasıl kullanılır?
Bazı API'ler, üretilen her token için log olasılığını ve en olası alternatifleri döndürebilir. Bu bilgiyle:
- Modelin bir cevaptan ne kadar "emin" olduğuna dair kaba bir fikir edinilebilir.
- Sınıflandırma görevlerinde seçenekler arasındaki farklar ölçülebilir.
- Ortalama log olasılıktan perplexity hesaplanabilir.
Nelere dikkat etmeli?
Yüksek log olasılık, cevabın doğru olduğu anlamına gelmez. Model yanlış bir bilgiyi de yüksek güvenle üretebilir. Log olasılıklar bir sinyaldir, doğruluk garantisi değildir.
Sıkça Sorulan Sorular
Log olasılık neden negatif?
Olasılıklar 1'den küçük olduğu için logaritmaları sıfırdan küçüktür. Olasılık tam 1 olduğunda log olasılık 0 olur.
Logprob ile logit arasındaki fark nedir?
Logit, softmax öncesindeki ham puandır. Log olasılık ise softmax sonrası elde edilen olasılığın logaritmasıdır; yani normalleştirilmiş bir değerdir.