RLHF Nedir?

RLHF (Reinforcement Learning from Human Feedback), Türkçesiyle insan geri bildiriminden pekiştirmeli öğrenme, bir dil modelinin cevaplarını insanların beklentilerine daha uygun hâle getirmek için kullanılan eğitim yöntemidir. Sohbet botlarının daha yardımsever, anlaşılır ve zararsız cevaplar vermesinde önemli rol oynar.

RLHF neden gerekli?

Ön eğitimden çıkan bir model metni sürdürmeyi bilir ama bir soruya faydalı, kibar ve güvenli cevap vermeyi tam bilmez. "İyi cevap" kavramını kurallarla tanımlamak zordur; insanların iki cevaptan hangisini daha iyi bulduğunu söylemesi ise kolaydır. RLHF bu tercihleri eğitim sinyaline dönüştürür.

RLHF nasıl çalışır?

1. Denetimli ince ayar: Model önce örnek soru-cevap çiftleriyle talimatlara uymayı öğrenir.
2. Tercih verisi toplama: Model aynı soruya birkaç cevap üretir; insan değerlendiriciler bunları iyiden kötüye sıralar.
3. Ödül modeli eğitimi: Bu sıralamalardan, bir cevabın insanlar tarafından ne kadar beğenileceğini puanlayan ayrı bir model eğitilir.
4. Pekiştirmeli öğrenme: Dil modeli, ödül modelinden yüksek puan alacak cevaplar üretecek şekilde güncellenir. Modelin orijinal hâlinden fazla uzaklaşmaması için ek bir sınırlama uygulanır.

Son yıllarda ayrı bir ödül modeline ihtiyaç duymayan, tercih verisini doğrudan kullanan benzer yöntemler de yaygınlaştı.

Sınırları

• Değerlendiricilerin kişisel görüş ve önyargıları modele yansıyabilir.
• Model, doğru olmaktan çok "hoşa giden" cevap vermeyi öğrenebilir; örneğin kullanıcıya gereğinden fazla hak verme eğilimi gösterebilir.
• İnsan değerlendirmesi pahalı ve yavaştır.

RLHF, daha geniş yapay zekâ hizalaması çalışmalarının bir parçasıdır.