İçeriğe geç
parazade
Yapay Zeka

SARSA Ne Demek?

Yayın: · Son güncelleme:

SARSA Ne Demek? Kısaca

SARSA, pekiştirmeli öğrenmede eylem değerlerini öğrenmek için kullanılan politikaya bağlı (on-policy) bir algoritmadır. Adı, güncellemede kullanılan Durum-Eylem-Ödül-Durum-Eylem (State-Action-Reward-State-Action) dizisinden gelir.

SARSA nedir?
İçindekiler
  1. SARSA ne demek?
  2. Q-öğrenmeden farkı
  3. Nelere dikkat etmeli?

SARSA, ajanın her durumda hangi eylemin ne kadar iyi olduğunu deneyerek öğrendiği klasik bir pekiştirmeli öğrenme algoritmasıdır. Adı, her güncelleme adımında kullandığı beş öğenin baş harflerinden oluşur: State, Action, Reward, State, Action.

SARSA ne demek?

Algoritma, eylem değer fonksiyonunu yani Q(s, a) değerlerini öğrenir. Ajan bir s durumunda a eylemini yapar, r ödülünü alır ve s' durumuna geçer. Ardından mevcut politikasına göre bir sonraki a' eylemini seçer. Güncelleme bu beşliye göre yapılır:

Q(s, a) ← Q(s, a) + α [r + γ Q(s', a') − Q(s, a)]

Burada α öğrenme oranını, γ ise gelecekteki ödüllerin indirim katsayısını gösterir.

Q-öğrenmeden farkı

SARSA "on-policy" bir yöntemdir: Güncellemede ajanın gerçekten seçeceği sonraki eylemi kullanır. Q-öğrenme ise "off-policy"dir: Sonraki durumda en yüksek değerli eylemi varsayar, ajan o eylemi seçmese bile.

Bu fark davranışa yansır. Klasik bir örnekte, uçurum kenarından geçen kısa yol ile güvenli uzun yol arasında seçim yapan bir ajan düşünülür. Keşif sırasında arada bir rastgele adım attığı için SARSA, uçuruma düşme riskini hesaba katar ve daha temkinli yolu öğrenme eğilimindedir. Q-öğrenme ise kısa ama riskli yolu tercih edebilir.

Nelere dikkat etmeli?

  • Öğrenme oranı ve keşif oranı (ör. epsilon-açgözlü yöntemdeki epsilon) sonucu doğrudan etkiler.
  • Tablo hâlindeki SARSA yalnızca küçük durum uzaylarında pratiktir; büyük problemlerde fonksiyon yaklaşımı gerekir.

SARSA'nın dayandığı temel fikir için değer fonksiyonu maddesine bakabilirsin.

Sıkça Sorulan Sorular

SARSA ile Q-öğrenme arasındaki temel fark nedir?

SARSA güncellemede ajanın gerçekten seçeceği sonraki eylemi kullanır, yani on-policy'dir. Q-öğrenme ise sonraki durumdaki en iyi eylemi varsayar ve off-policy'dir.

SARSA neden daha temkinli davranır?

Çünkü keşif sırasında yapılan rastgele adımların sonuçlarını da öğrenmeye katar. Bu yüzden riskli durumların yakınındaki eylemlere daha düşük değer verme eğilimindedir.

İlgili terimler

Değer Fonksiyonu(Value Function)Değer fonksiyonu, pekiştirmeli öğrenmede bir ajanın belirli bir durumda bulunmasının ya da belirli bir eylemi seçmesinin gelecekte toplam ne kadar ödül getireceğini tahmin eden fonksiyondur.Pekiştirmeli Öğrenme(Reinforcement Learning)Pekiştirmeli öğrenme, bir ajanın bir ortamda eylemler yapıp ödül veya ceza alarak, uzun vadede toplam ödülü en yükseğe çıkaracak davranışı deneme yanılmayla öğrendiği makine öğrenmesi türüdür.Bellman Denklemi(Bellman Equation)Bellman denklemi, bir durumun değerini o anda alınan ödül ile sonraki durumun indirimli değerinin toplamı olarak tanımlayan özyinelemeli bir ilişkidir. Dinamik programlamanın ve pekiştirmeli öğrenmenin temelidir.Markov Karar Süreci(Markov Decision Process)Markov karar süreci (MDP), bir ajanın durumlar arasında eylemler seçerek ilerlediği, her eylemin olasılıksal bir sonraki duruma ve bir ödüle yol açtığı karar problemlerini modelleyen matematiksel çerçevedir. Pekiştirmeli öğrenmenin temelidir.Algoritma(Algorithm)Algoritma, belirli bir problemi çözmek ya da bir görevi yerine getirmek için izlenen, sırası ve sonu belli, açık ve uygulanabilir adımlar dizisidir. Bilgisayar programları ve yapay zekâ sistemleri algoritmalar üzerine kuruludur.Öğrenme Oranı(Learning Rate)Öğrenme oranı, gradyan inişi sırasında model parametrelerinin her adımda ne kadar büyük miktarda değiştirileceğini belirleyen ve eğitimin başarısını en çok etkileyen hiperparametrelerden biridir.

İlgili yazılar