İçeriğe geç
parazade
Yapay Zeka

Perplexity Nedir?

Yayın: · Son güncelleme:

Perplexity Nedir? Kısaca

Perplexity (şaşkınlık), bir dil modelinin bir metni ne kadar iyi tahmin ettiğini ölçen metriktir. Değer düştükçe model metni daha az "şaşırarak", yani daha yüksek olasılıkla tahmin ediyor demektir.

Perplexity nedir?
İçindekiler
  1. Perplexity nedir?
  2. Nasıl hesaplanır?
  3. Nelere dikkat etmeli?

Perplexity, dil modellerinin eğitimi ve karşılaştırılmasında kullanılan klasik bir ölçüttür. Aynı adı taşıyan bir yapay zekâ arama ürünü de vardır; bu madde metrik anlamını anlatır.

Perplexity nedir?

Bir dil modeli her adımda bir sonraki token için olasılık dağılımı üretir. Gerçek metindeki tokenlere model yüksek olasılık veriyorsa iyi tahmin ediyordur. Perplexity bu başarıyı tek bir sayıda özetler.

Sezgisel olarak perplexity, modelin her adımda "kaç seçenek arasında kararsız kaldığını" gösterir. Örneğin varsayımsal olarak perplexity değeri 10 olan bir model, ortalamada 10 eşit olası seçenek arasında seçim yapıyormuş gibi davranır. 1, kusursuz tahmin anlamına gelir.

Nasıl hesaplanır?

  1. Metindeki her token için modelin verdiği log olasılık bulunur.
  2. Bu değerlerin ortalaması alınır ve eksi işaretiyle çarpılır (ortalama negatif log olasılık).
  3. Sonucun üsteli alınır.

Yani perplexity, eğitimde kullanılan çapraz entropi kaybının üstel hâlidir.

Nelere dikkat etmeli?

  • Farklı tokenizer kullanan modellerin perplexity değerleri doğrudan karşılaştırılamaz; token sayısı farklıdır.
  • Düşük perplexity, modelin doğru bilgi verdiği ya da talimatları iyi izlediği anlamına gelmez; yalnızca metni ne kadar iyi tahmin ettiğini gösterir.
  • Değerlendirme metni eğitim verisinde yer aldıysa perplexity yapay olarak düşük çıkabilir.

Bu yüzden perplexity, görev odaklı testlerle birlikte kullanılmalıdır.

Sıkça Sorulan Sorular

Perplexity düşük mü yüksek mi olmalı?

Düşük olması daha iyidir. Düşük perplexity, modelin test metnindeki tokenlere daha yüksek olasılık verdiğini, yani metni daha iyi tahmin ettiğini gösterir.

Perplexity ile model kalitesi tam ölçülür mü?

Hayır. Metni tahmin etme başarısını ölçer ama doğruluk, güvenlik ya da yardımseverlik gibi özellikleri göstermez. Bu yüzden diğer değerlendirme yöntemleriyle birlikte kullanılır.

İlgili terimler

Log Olasılık(Log Probability)Log olasılık (log probability, logprob), bir olayın olasılığının doğal logaritmasıdır. Dil modellerinde her tokenin seçilme olasılığını ifade etmek için kullanılır; değer 0'a yaklaştıkça olasılık yüksek, eksi yönde büyüdükçe düşüktür.Çapraz Entropi(Cross-Entropy)Çapraz entropi, bir modelin tahmin ettiği olasılık dağılımının gerçek dağılımdan ne kadar uzak olduğunu ölçen bir kayıp fonksiyonudur. Doğru sınıfa düşük olasılık veren tahminleri ağır cezalandırır; sınıflandırma modelleri ve dil modelleri eğitiminde standarttır.Model Değerlendirme(Model Evaluation)Model değerlendirme (model evaluation), bir yapay zekâ modelinin belirli bir görevdeki başarısını, güvenilirliğini, adaletini ve güvenliğini; test verileri, metrikler, karşılaştırma testleri ve insan incelemesiyle ölçme sürecidir.Dil Modeli(Language Model)Dil modeli, bir dizideki kelimelerin ya da token'ların olasılığını tahmin eden yapay zekâ modelidir. En yaygın biçimiyle, verilen metinden sonra hangi kelimenin gelme ihtimalinin yüksek olduğunu hesaplar. Otomatik tamamlama, çeviri ve sohbet asistanlarının temelinde dil modelleri bulunur.TokenToken, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası ya da bir noktalama işareti olabilir. Modellerin hızı, bağlam penceresi ve kullanım ücretleri genellikle token sayısıyla ölçülür.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.