Durum Uzayı Modeli Nedir?
İngilizce: State Space Model
Yayın: · Son güncelleme:
Durum Uzayı Modeli Nedir? Kısaca
Durum uzayı modeli (SSM), bir sistemin zaman içindeki davranışını gizli bir iç durum ve bu durumun girdilerle nasıl değiştiğini anlatan denklemlerle tanımlayan modeldir. Derin öğrenmede uzun dizileri Transformer'a göre daha verimli işleyebilen mimarilerin temelini oluşturur.
İçindekiler
Durum uzayı modeli nedir?
Durum uzayı modeli (İngilizce state space model, kısaca SSM), aslen kontrol teorisi ve sinyal işlemeden gelen bir kavramdır. Bir sistemi, doğrudan gözlenemeyen bir iç durum ile tanımlar. Her yeni girdi bu durumu günceller, çıktı ise güncel durumdan üretilir. Uçağın konumunu tahmin eden Kalman filtresi de bu çerçeveye dayanır.
Bu madde, derin öğrenmede dizi modellemek için kullanılan SSM'leri anlatır; pekiştirmeli öğrenmedeki "durum uzayı" kavramı ayrı bir konudur.
Nasıl çalışır?
En sade biçimiyle iki denklem vardır:
- Durum güncellemesi: yeni durum = A × eski durum + B × girdi
- Çıktı: çıktı = C × durum (+ D × girdi)
Buradaki A, B, C ve D matrisleri modelin öğrendiği parametrelerdir. Model, diziyi baştan sona tararken geçmişi bu sabit boyutlu durum içinde özetler. Bu yönüyle tekrarlayan sinir ağlarına benzer.
Derin öğrenmede neden önemli?
Transformer'daki dikkat mekanizması, dizideki her öğeyi diğer her öğeyle karşılaştırır; dizi uzadıkça hesaplama ve bellek ihtiyacı karesel olarak artar. SSM'ler ise dizi uzunluğuyla yaklaşık doğrusal ölçeklenir. 2021'de önerilen S4 gibi çalışmalar, özel matris yapıları ve verimli hesaplama yöntemleriyle SSM'leri derin ağlarda çok uzun dizileri işleyebilir hâle getirdi. Bu modeller eğitimde evrişim gibi paralel, çıkarımda ise tekrarlayan ağ gibi adım adım çalışabilir.
Sınırları ve gelişimi
Klasik SSM'lerde parametreler girdiden bağımsızdır; bu da hangi bilginin önemli olduğunu seçmeyi zorlaştırır. Mamba mimarisi, parametreleri girdiye göre değiştiren "seçici" SSM'lerle bu sorunu ele aldı. Bazı güncel modeller ise SSM katmanlarını dikkat katmanlarıyla birleştiren hibrit yapılar kullanır.
Sıkça Sorulan Sorular
Durum uzayı modeli ile Transformer arasındaki fark nedir?
Transformer her token'ı diğer tüm token'larla karşılaştırır ve uzun dizilerde maliyeti hızla artar. Durum uzayı modeli ise geçmişi sabit boyutlu bir durumda özetler ve dizi uzunluğuyla yaklaşık doğrusal ölçeklenir.
Durum uzayı modelleri hangi alanlarda kullanılır?
Uzun metin, ses, genomik diziler ve zaman serileri gibi çok uzun dizilerin işlendiği alanlarda öne çıkar. Klasik biçimleri ise kontrol sistemleri, ekonometri ve sinyal işlemede uzun süredir kullanılıyor.