LSTM Nedir?
İngilizce: Long Short-Term Memory
Yayın: · Son güncelleme:
LSTM Nedir? Kısaca
LSTM (uzun kısa süreli bellek), tekrarlayan sinir ağlarının uzun dizilerde bilgiyi unutma sorununu, neyin saklanıp neyin unutulacağına karar veren kapılar ve ayrı bir hücre durumu ile hafifleten sinir ağı yapısıdır.
LSTM (Long Short-Term Memory), Türkçesiyle uzun kısa süreli bellek, tekrarlayan sinir ağlarının geliştirilmiş bir türüdür. 1997'de önerilmiştir ve uzun yıllar konuşma tanıma, makine çevirisi ve metin üretiminde en başarılı yöntemlerden biri olmuştur.
LSTM hangi sorunu çözer?
Basit RNN'ler uzun bir cümlenin başındaki bilgiyi sonuna kadar taşımakta zorlanır. Örneğin "Ayşe yıllarca Almanya'da yaşadı, ... bu yüzden çok iyi ... konuşuyor" cümlesinde boşluğa "Almanca" gelmesi için baştaki bilginin hatırlanması gerekir. Basit RNN'de eğitim sinyali uzun dizilerde zayıflar (kaybolan gradyan). LSTM bunun için özel bir hafıza yapısı kullanır.
LSTM nasıl çalışır?
LSTM'in kalbinde, bilgiyi uzun süre taşıyabilen bir hücre durumu (cell state) vardır. Bu hafızaya ne yazılacağını ve ne silineceğini üç "kapı" kontrol eder:
| Kapı | Görevi |
|---|---|
| Unutma kapısı | Hafızadaki hangi bilginin silineceğine karar verir |
| Giriş kapısı | Yeni bilgiden hangisinin hafızaya ekleneceğine karar verir |
| Çıkış kapısı | Hafızanın hangi kısmının o adımın çıktısına yansıyacağına karar verir |
Kapılar 0 ile 1 arasında değer üreten sigmoid fonksiyonlarıyla çalışır: 0 "tamamen engelle", 1 "tamamen geçir" demektir. Ağ, bu kapıları nasıl açıp kapatacağını eğitim sırasında öğrenir.
Bugün nerede kullanılıyor?
Dil işleme alanında büyük ölçüde transformer tabanlı modeller LSTM'in yerini aldı. Yine de LSTM; sensör verisi, zaman serisi tahmini ve sınırlı donanımlı cihazlar gibi alanlarda hâlâ kullanılıyor. GRU adlı daha sade bir türevi de yaygındır.
LSTM'ler hâlâ sırayla çalıştığı için çok uzun dizilerde yavaştır ve paralel eğitilmesi zordur.
Sıkça Sorulan Sorular
LSTM ile GRU arasındaki fark nedir?
GRU, LSTM'in daha sade bir türevidir; daha az kapı ve ayrı bir hücre durumu olmadan çalışır. Daha az parametreyle çoğu görevde benzer sonuç verebilir.
LSTM ile borsa tahmini yapılabilir mi?
LSTM, fiyat serileri üzerinde sıkça denenir ama bu modeller geçmiş veriye aşırı uyum sağlayabilir. Piyasa tahmini belirsizdir ve bu tür modeller kazanç garantisi vermez.