İçeriğe geç
parazade
Yapay Zeka

Bellman Denklemi Nedir?

İngilizce: Bellman Equation

Yayın: · Son güncelleme:

Bellman Denklemi Nedir? Kısaca

Bellman denklemi, bir durumun değerini o anda alınan ödül ile sonraki durumun indirimli değerinin toplamı olarak tanımlayan özyinelemeli bir ilişkidir. Dinamik programlamanın ve pekiştirmeli öğrenmenin temelidir.

Bellman Denklemi nedir?
İçindekiler
  1. Bellman denklemi nedir?
  2. Örnek
  3. Nerede kullanılır?

Bellman denklemi, matematikçi Richard Bellman'ın dinamik programlama çalışmalarından adını alan ve karmaşık bir karar problemini daha küçük parçalara bölen temel bir ilişkidir. Pekiştirmeli öğrenme algoritmalarının büyük çoğunluğu bu denkleme dayanır.

Bellman denklemi nedir?

Denklemin ana fikri şudur: Bir durumun değeri, şimdi alınacak ödül ile bir sonraki durumun değerinin toplamına eşittir. Gelecekteki değer, bir indirim katsayısıyla (γ) küçültülür. Basitleştirilmiş hâli:

V(s) = E[ r + γ · V(s') ]

Burada V(s), s durumunun değeri; r, anlık ödül; s' ise sonraki durumdur. E, beklenen değeri ifade eder çünkü ortam rastgele davranabilir.

En iyi politikayı aramak için kullanılan biçimine Bellman optimallik denklemi denir. Bu biçimde her durumda en yüksek değeri veren eylem seçilir.

Örnek

Varsayımsal bir yol düşün: A durumundan B'ye geçince 1 puan alıyorsun ve B'nin değeri 10. İndirim katsayısı 0,9 ise A'nın değeri yaklaşık 1 + 0,9 × 10 = 10 olur. Böylece B'nin değerini bildiğinde A'nın değerini de hesaplayabilirsin.

Nerede kullanılır?

  • Dinamik programlama: Değer iterasyonu ve politika iterasyonu bu denklemi tekrar tekrar uygular.
  • Q-öğrenme ve SARSA: Tahminleri güncellerken Bellman ilişkisini örnek deneyimlerle yaklaşık olarak kullanır.
  • Derin pekiştirmeli öğrenme: Sinir ağları, Bellman hedeflerine yaklaşacak şekilde eğitilir.

Dikkat edilmesi gereken nokta, denklemin tam çözümünün yalnızca küçük ve modeli bilinen problemlerde mümkün olmasıdır. Büyük problemlerde yaklaşık yöntemler kullanılır. İlişkinin tanımladığı kavram için değer fonksiyonu maddesine göz atabilirsin.

Sıkça Sorulan Sorular

Bellman denklemindeki indirim katsayısı ne işe yarar?

Gelecekteki ödüllerin bugünkü değere ne kadar katkı yapacağını belirler. Değeri 0'a yakınsa ajan kısa vadeli düşünür, 1'e yakınsa uzak gelecekteki ödülleri de önemser.

Bellman optimallik denklemi nedir?

Her durumda en iyi eylemin seçildiği varsayımıyla yazılan Bellman denklemidir. Çözümü, en iyi politikanın değerlerini verir.

İlgili terimler

Değer Fonksiyonu(Value Function)Değer fonksiyonu, pekiştirmeli öğrenmede bir ajanın belirli bir durumda bulunmasının ya da belirli bir eylemi seçmesinin gelecekte toplam ne kadar ödül getireceğini tahmin eden fonksiyondur.Markov Karar Süreci(Markov Decision Process)Markov karar süreci (MDP), bir ajanın durumlar arasında eylemler seçerek ilerlediği, her eylemin olasılıksal bir sonraki duruma ve bir ödüle yol açtığı karar problemlerini modelleyen matematiksel çerçevedir. Pekiştirmeli öğrenmenin temelidir.SARSASARSA, pekiştirmeli öğrenmede eylem değerlerini öğrenmek için kullanılan politikaya bağlı (on-policy) bir algoritmadır. Adı, güncellemede kullanılan Durum-Eylem-Ödül-Durum-Eylem (State-Action-Reward-State-Action) dizisinden gelir.Pekiştirmeli Öğrenme(Reinforcement Learning)Pekiştirmeli öğrenme, bir ajanın bir ortamda eylemler yapıp ödül veya ceza alarak, uzun vadede toplam ödülü en yükseğe çıkaracak davranışı deneme yanılmayla öğrendiği makine öğrenmesi türüdür.Derin Pekiştirmeli Öğrenme(Deep Reinforcement Learning)Derin pekiştirmeli öğrenme, pekiştirmeli öğrenmeyi derin sinir ağlarıyla birleştiren yaklaşımdır. Ajan, ödül ve ceza sinyallerinden öğrenirken karmaşık durumları ve kararları sinir ağlarıyla temsil eder.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.