Top-p Örnekleme Nedir?
İngilizce: Top-p Sampling
Yayın: · Son güncelleme:
Top-p Örnekleme Nedir? Kısaca
Top-p örnekleme (nucleus sampling), dil modelinin bir sonraki token'ı, toplam olasılığı belirli bir eşiğe (p) ulaşan en olası adaylar kümesinden seçmesini sağlayan yöntemdir. Düşük olasılıklı, sapkın seçimleri dışarıda bırakır.
Top-p örnekleme, İngilizcede "nucleus sampling" olarak da bilinir. Dil modeli bir sonraki token'ı seçerken bütün olasılıkları değil, yalnızca en olası adaylardan oluşan bir "çekirdek" kümeyi dikkate alır. Bu kümenin büyüklüğünü p adlı eşik belirler.
Top-p nasıl çalışır?
- Model, olası token'ları olasılığa göre büyükten küçüğe sıralar.
- En olası token'dan başlayarak olasılıklar toplanır.
- Toplam, p değerine (ör. 0,9) ulaştığında durulur.
- Seçim yalnızca bu küme içinden, olasılıklara göre rastgele yapılır.
Model bir konuda çok eminse küme birkaç token'dan oluşur; emin değilse küme genişler. Yani top-p, sabit sayıda aday seçen "top-k" yöntemine göre duruma uyum sağlar.
Örnek
Varsayımsal olarak "Bugün hava çok…" cümlesinin devamı için olasılıklar şöyle olsun: "güzel" %50, "sıcak" %30, "soğuk" %15, diğerleri toplam %5. Top-p 0,9 seçildiğinde ilk üç aday (%95) kümeye girer, geri kalan düşük olasılıklı ve muhtemelen anlamsız seçenekler elenir. Top-p 0,5 olursa yalnızca "güzel" kalır.
Temperature ile farkı ve dikkat edilecekler
Temperature olasılık dağılımının şeklini değiştirir; top-p ise hangi adayların seçime gireceğini sınırlar. İkisi birlikte kullanılabilir, ancak birçok sağlayıcı ikisinden yalnız birini değiştirmeyi önerir. Top-p'yi çok düşürmek cevapları tekdüze yapar; 1'e çok yaklaştırmak ise sınırlamayı fiilen kaldırır. Kesinlik isteyen işlerde daha düşük, yaratıcı işlerde daha yüksek p değerleri tercih edilir. Bu ayarlar modelin bilgi düzeyini değiştirmez; yalnızca cevabın ne kadar çeşitli olacağını etkiler.
Sıkça Sorulan Sorular
Top-p ile top-k arasındaki fark nedir?
Top-k her adımda sabit sayıda (ör. en olası 40) token arasından seçim yapar. Top-p ise sayı yerine toplam olasılık eşiğine bakar; böylece aday sayısı modelin ne kadar emin olduğuna göre değişir.
Top-p değeri genelde kaç seçilir?
Pek çok uygulamada 0,9-1 arası değerler sık görülür, ancak doğru değer işe ve modele göre değişir. Varsayılanı değiştirmeden önce sağlayıcının önerisine bakmak iyi bir başlangıçtır.