İçeriğe geç
parazade
Yapay Zeka

Logit Ne Demek?

Yayın: · Son güncelleme:

Logit Ne Demek? Kısaca

Logit, bir yapay sinir ağının son katmanında, olasılığa dönüştürülmeden önce her olası sonuç için ürettiği ham ve sınırsız puandır. Dil modellerinde her olası sonraki token için bir logit hesaplanır ve softmax ile olasılığa çevrilir.

Logit nedir?
İçindekiler
  1. Logit ne demek?
  2. Logitler olasılığa nasıl dönüşür?
  3. Dil modellerinde logit

Logit kelimesi istatistikte "log-odds", yani bir olayın gerçekleşme oranının logaritması anlamında da kullanılır. Derin öğrenmede ise daha geniş anlamda, modelin normalleştirilmemiş çıktı puanlarına logit denir.

Logit ne demek?

Bir sınıflandırma modelinin bir görseli "kedi", "köpek" ya da "kuş" olarak etiketlediğini düşün. Model son katmanda her sınıf için bir sayı üretir: örneğin varsayımsal olarak kedi için 3,2, köpek için 1,1, kuş için -0,5. Bu sayılar logittir. Negatif olabilirler, toplamları 1 etmez ve tek başlarına olasılık değildir.

Logitler olasılığa nasıl dönüşür?

Logitler softmax fonksiyonundan geçirilir. Softmax her değerin üstelini alır ve toplama böler; sonuçta tüm değerler 0 ile 1 arasına iner ve toplamları 1 olur. En yüksek logit en yüksek olasılığı alır.

İkili sınıflandırmada ise genellikle tek bir logit üretilir ve sigmoid fonksiyonu ile olasılığa çevrilir.

Dil modellerinde logit

Bir büyük dil modeli her adımda kelime dağarcığındaki her token için bir logit üretir. Ardından:

  • Temperature ayarı logitleri bölerek dağılımı keskinleştirir ya da yayar.
  • Top-p gibi örnekleme yöntemleri düşük olasılıklı seçenekleri eler.
  • Bazı API'ler belirli tokenlerin logitine ek değer vererek onları teşvik etmeye ya da engellemeye izin verir.

Logitleri doğrudan karşılaştırmak yerine olasılık ya da log olasılık üzerinden yorum yapmak çoğu zaman daha anlamlıdır.

Sıkça Sorulan Sorular

Logit nedir, olasılıkla aynı mı?

Hayır. Logit, modelin ham çıktı puanıdır ve herhangi bir değer alabilir. Olasılık ise logitin softmax ya da sigmoid ile 0-1 aralığına dönüştürülmüş hâlidir.

Logit neden negatif olabilir?

Logitler sınırsız sayılardır; negatif bir logit yalnızca o seçeneğin diğerlerine göre daha düşük puan aldığını gösterir. Olasılığa çevrildiğinde yine pozitif bir değer çıkar.

İlgili terimler

SoftmaxSoftmax, bir sayı vektörünün her elemanının üstelini alıp bunları toplamlarına bölerek, tüm değerleri 0 ile 1 arasında ve toplamı 1 olan bir olasılık dağılımına dönüştüren, çok sınıflı sınıflandırmada yaygın kullanılan bir fonksiyondur.Log Olasılık(Log Probability)Log olasılık (log probability, logprob), bir olayın olasılığının doğal logaritmasıdır. Dil modellerinde her tokenin seçilme olasılığını ifade etmek için kullanılır; değer 0'a yaklaştıkça olasılık yüksek, eksi yönde büyüdükçe düşüktür.TemperatureTemperature (sıcaklık), bir dil modelinin bir sonraki token'ı seçerken ne kadar rastgele davranacağını belirleyen ayardır. Düşük değer tutarlı ve öngörülebilir, yüksek değer daha çeşitli ve yaratıcı cevaplar üretir.Sigmoid Fonksiyonu(Sigmoid Function)Sigmoid fonksiyonu, σ(x) = 1 / (1 + e^(−x)) formülüyle tanımlanan, her gerçek sayıyı 0 ile 1 arasına S biçiminde bir eğriyle eşleyen ve bu yüzden olasılık üretmek için lojistik regresyonda ve sinir ağlarında kullanılan bir fonksiyondur.Büyük Dil Modeli(Large Language Model)Büyük dil modeli (LLM), çok büyük miktarda metinle eğitilen ve bir metnin devamında hangi parçanın geleceğini tahmin ederek yazı üreten yapay zekâ modelidir. Sohbet asistanları, kod yardımcıları ve özetleme araçlarının temelinde bu modeller bulunur.TokenToken, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası ya da bir noktalama işareti olabilir. Modellerin hızı, bağlam penceresi ve kullanım ücretleri genellikle token sayısıyla ölçülür.