Markov Karar Süreci Nedir?
İngilizce: Markov Decision Process
Yayın: · Son güncelleme:
Markov Karar Süreci Nedir? Kısaca
Markov karar süreci (MDP), bir ajanın durumlar arasında eylemler seçerek ilerlediği, her eylemin olasılıksal bir sonraki duruma ve bir ödüle yol açtığı karar problemlerini modelleyen matematiksel çerçevedir. Pekiştirmeli öğrenmenin temelidir.
Markov karar süreci (Markov Decision Process, MDP), sonuçları kısmen rastgele, kısmen karar vericinin seçimlerine bağlı olan sıralı karar problemlerini tanımlamak için kullanılan modeldir. Pekiştirmeli öğrenme algoritmalarının büyük çoğunluğu problemi bir MDP olarak ele alır.
Markov karar süreci nedir?
Bir MDP beş temel öğeden oluşur:
| Öğe | Anlamı |
|---|---|
| Durumlar (S) | Ajanın bulunabileceği tüm konumlar ya da koşullar |
| Eylemler (A) | Her durumda yapılabilecek seçimler |
| Geçiş olasılıkları (P) | Bir eylemden sonra hangi duruma hangi olasılıkla geçileceği |
| Ödül (R) | Bir geçişten elde edilen anlık kazanç ya da ceza |
| İndirim katsayısı (γ) | Gelecekteki ödüllerin bugüne göre ne kadar önemsendiği |
"Markov" adı, Markov özelliğinden gelir: Bir sonraki durumun olasılığı yalnızca mevcut duruma ve seçilen eyleme bağlıdır, geçmişin tamamına değil.
Nasıl çalışır?
Amaç, her durumda hangi eylemin seçileceğini söyleyen bir politika bulmaktır; öyle ki uzun vadede toplanan beklenen ödül en yüksek olsun. Varsayımsal bir örnek: Bir depo robotu her karede (durum) dört yöne gidebilir (eylem). Zemin kaygan olduğu için bazen istemediği kareye kayar (geçiş olasılığı). Hedef rafa ulaşınca ödül alır, her adımda küçük bir ceza öder. En iyi politika, robotu hem hızlı hem güvenli rotaya yönlendirir.
Model biliniyorsa en iyi politika, Bellman denklemine dayanan değer yinelemesi gibi yöntemlerle hesaplanabilir. Model bilinmiyorsa ajan deneme-yanılmayla öğrenir.
Sınırları
Gerçek dünyada durumlar çoğu zaman tam gözlemlenemez; bu durum için kısmen gözlemlenebilir MDP adlı bir genelleme kullanılır. Durum ve eylem sayısı çok büyüdüğünde kesin çözüm imkânsızlaşır ve sinir ağlarıyla yaklaşık çözümler gerekir. Ödülün yanlış tasarlanması da ajanın istenmeyen davranışlar öğrenmesine yol açabilir.
Sıkça Sorulan Sorular
Markov karar süreci ile Markov zinciri arasındaki fark nedir?
Markov zincirinde durumlar arası geçişler yalnızca olasılıklara bağlıdır, bir karar verici yoktur. Markov karar sürecinde ise ajan eylem seçer ve ödül alır; geçişler bu eylemlere göre değişir.
MDP'de politika ne demek?
Politika, her durumda hangi eylemin seçileceğini belirleyen kuraldır. Pekiştirmeli öğrenmenin amacı, uzun vadeli ödülü en yüksek yapan politikayı bulmaktır.