İçeriğe geç
parazade
Yapay Zeka

PPO Nedir?

İngilizce: Proximal Policy Optimization

Yayın: · Son güncelleme:

PPO Nedir? Kısaca

PPO (Proximal Policy Optimization, yakınsal politika optimizasyonu), bir ajanın davranış politikasını her güncellemede eskisinden çok uzaklaşmayacak şekilde küçük ve kontrollü adımlarla iyileştiren pekiştirmeli öğrenme algoritmasıdır. RLHF ile dil modeli eğitiminde de kullanılır.

PPO nedir?
İçindekiler
  1. PPO nedir?
  2. Hangi sorunu çözer?
  3. Nasıl çalışır?
  4. Dil modellerinde PPO
  5. Sınırları

PPO nedir?

PPO, John Schulman ve arkadaşlarının 2017'de OpenAI'da yayımladığı bir pekiştirmeli öğrenme algoritmasıdır. Pekiştirmeli öğrenmede bir ajan, bir ortamda eylemler yapar ve aldığı ödüllere göre davranışını, yani politikasını iyileştirir. PPO, bu iyileştirmeyi kararlı biçimde yapmayı amaçlar.

Hangi sorunu çözer?

Politika gradyanı yöntemlerinde tek bir büyük güncelleme, ajanın davranışını aniden bozabilir ve öğrenme çökebilir. Daha önceki TRPO algoritması bu sorunu güncellemeleri sınırlayarak çözüyordu ama hesaplaması karmaşıktı. PPO, benzer kararlılığı çok daha basit bir yöntemle sağlar.

Nasıl çalışır?

  1. Ajan mevcut politikayla ortamda bir süre etkileşime girer ve deneyim toplar.
  2. Her eylemin beklenenden ne kadar iyi ya da kötü olduğunu gösteren avantaj değeri hesaplanır; bunun için genellikle ayrı bir değer modeli (critic) kullanılır.
  3. Yeni politikanın bir eylemi seçme olasılığı, eski politikanınkiyle oranlanır.
  4. Kırpma (clipping): Bu oran belirli bir aralığın dışına çıkarsa kırpılır. Böylece tek bir güncelleme politikayı fazla değiştiremez.
  5. Toplanan veri üzerinde birkaç tur güncelleme yapılır, sonra yeni deneyim toplanır.

Dil modellerinde PPO

RLHF sürecinde dil modeli politika, ürettiği cevaplar eylem olarak düşünülür. Cevaplar, insan tercihleriyle eğitilmiş bir ödül modeli tarafından puanlanır ve model PPO ile güncellenir. Modelin orijinal hâlinden çok uzaklaşmaması için ek bir ceza terimi de kullanılır.

Sınırları

PPO'nun dil modelleriyle kullanımı, politika, referans, ödül ve değer modellerinin birlikte çalıştırılmasını gerektirdiği için bellek ve hesaplama açısından pahalıdır. Hiperparametrelere duyarlıdır. Bu nedenle DPO ve GRPO gibi daha hafif alternatifler geliştirilmiştir.

Sıkça Sorulan Sorular

PPO'daki kırpma ne işe yarar?

Yeni politikanın eski politikadan ne kadar farklılaşabileceğini sınırlar. Böylece tek bir güncellemenin ajanın davranışını bozması önlenir ve eğitim daha kararlı ilerler.

PPO yalnızca dil modellerinde mi kullanılır?

Hayır. PPO aslında robotik, oyun ve simülasyon gibi klasik pekiştirmeli öğrenme problemleri için geliştirildi. Dil modellerinde RLHF aracılığıyla kullanılması daha sonra yaygınlaştı.

İlgili terimler

Pekiştirmeli Öğrenme(Reinforcement Learning)Pekiştirmeli öğrenme, bir ajanın bir ortamda eylemler yapıp ödül veya ceza alarak, uzun vadede toplam ödülü en yükseğe çıkaracak davranışı deneme yanılmayla öğrendiği makine öğrenmesi türüdür.RLHF(Reinforcement Learning from Human Feedback)RLHF (insan geri bildirimiyle pekiştirmeli öğrenme), insanların model cevaplarını karşılaştırarak verdiği tercihlerle bir ödül modeli eğitip dil modelini bu ödüle göre ayarlama yöntemidir.DPO(Direct Preference Optimization)DPO (Direct Preference Optimization, doğrudan tercih optimizasyonu), dil modellerini insanların tercih ettiği cevaplara yaklaştırmak için ayrı bir ödül modeli eğitmeden ve pekiştirmeli öğrenme döngüsü kurmadan, tercih çiftleri üzerinde doğrudan eğiten bir hizalama yöntemidir.GRPO(Group Relative Policy Optimization)GRPO (grup göreli politika optimizasyonu), aynı isteme üretilen birden fazla cevabın ödüllerini grup ortalamasıyla kıyaslayarak avantaj hesaplayan ve ayrı bir değer modeli gerektirmeyen pekiştirmeli öğrenme yöntemidir. Akıl yürütme modellerinin eğitiminde kullanılır.Dil Modeli(Language Model)Dil modeli, bir dizideki kelimelerin ya da token'ların olasılığını tahmin eden yapay zekâ modelidir. En yaygın biçimiyle, verilen metinden sonra hangi kelimenin gelme ihtimalinin yüksek olduğunu hesaplar. Otomatik tamamlama, çeviri ve sohbet asistanlarının temelinde dil modelleri bulunur.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.