Pekiştirmeli Öğrenme Nedir?

Pekiştirmeli öğrenme (reinforcement learning, RL), bir yapay zekâ ajanının doğru cevaplar gösterilmeden, yaptığı eylemlerin sonucuna göre ödül veya ceza alarak öğrendiği yöntemdir. Bir köpeğe ödülle numara öğretmeye benzer: İstenen davranış ödüllendirildikçe tekrarlanma olasılığı artar.

Temel kavramlar

• Ajan: Karar veren öğrenen sistem.
• Ortam: Ajanın içinde hareket ettiği dünya (oyun, simülasyon, robotun bulunduğu oda).
• Durum: Ortamın o anki hâli.
• Eylem: Ajanın yapabileceği hamleler.
• Ödül: Eylemin ardından gelen olumlu ya da olumsuz sayısal geri bildirim.
• Politika: Hangi durumda hangi eylemin seçileceğini belirleyen strateji.

Nasıl çalışır?

Ajan bir durumu gözlemler, bir eylem seçer, ortam değişir ve ajan bir ödül alır. Bu döngü binlerce, milyonlarca kez tekrarlanır. Ajan zamanla yalnızca anlık ödülü değil, gelecekte toplanacak toplam ödülü artıran eylemleri seçmeyi öğrenir. Bu sırada bilinen iyi hamleleri kullanmak ile yeni hamleleri denemek arasında denge kurması gerekir.

Nerelerde kullanılır?

• Satranç, go ve video oyunları oynayan sistemler
• Robotların yürüme ya da nesne tutma becerisi kazanması
• Enerji ve kaynak yönetimi gibi optimizasyon problemleri
• Dil modellerinin insan tercihlerine göre ayarlanması (RLHF)

Zorluklar

Ödül fonksiyonunu doğru tasarlamak zordur. Ajan, ödülü amaçlanmayan kısa yollardan kazanmayı öğrenebilir; buna "ödül istismarı" denir. Ayrıca çok sayıda deneme gerektirdiği için gerçek dünyada eğitmek pahalı ve riskli olabilir; bu yüzden sık sık simülasyon kullanılır.