İçeriğe geç
parazade
Yapay Zeka

GRU Nedir?

İngilizce: Gated Recurrent Unit

Yayın: · Son güncelleme:

GRU Nedir? Kısaca

GRU (Gated Recurrent Unit, kapılı tekrarlayan birim), sıralı verileri işlemek için tasarlanmış, güncelleme ve sıfırlama kapılarıyla hangi bilginin korunup hangisinin unutulacağına karar veren bir tekrarlayan sinir ağı birimidir. LSTM'e benzer ama daha az parametre içerir.

GRU nedir?
İçindekiler
  1. GRU nedir?
  2. Nasıl çalışır?
  3. GRU ile LSTM karşılaştırması
  4. Nerelerde kullanılır?

GRU nedir?

GRU, 2014'te Kyunghyun Cho ve arkadaşlarının makine çevirisi çalışmasında önerilen bir tekrarlayan sinir ağı birimidir. Metin, ses ve zaman serisi gibi sıralı verilerde, her adımda yeni girdiyi ve önceki adımdan gelen gizli durumu birleştirerek çalışır. Klasik tekrarlayan ağlar uzun dizilerde kaybolan gradyan nedeniyle geçmişi unutur; GRU bunu kapı mekanizmalarıyla hafifletir.

Nasıl çalışır?

GRU'da iki kapı vardır. Her kapı 0 ile 1 arasında değerler üreten bir sigmoid katmanıdır:

  • Güncelleme kapısı (update gate): Önceki gizli durumun ne kadarının korunacağına, ne kadarının yeni bilgiyle değiştirileceğine karar verir.
  • Sıfırlama kapısı (reset gate): Yeni aday durum hesaplanırken geçmiş bilginin ne kadarının dikkate alınacağını belirler.

Sonuçta yeni gizli durum, eski durum ile aday durumun güncelleme kapısına göre ağırlıklı bir karışımıdır. Kapı "koru" derse bilgi birçok adım boyunca neredeyse değişmeden taşınabilir.

GRU ile LSTM karşılaştırması

Özellik GRU LSTM
Kapı sayısı 2 3
Ayrı hücre durumu Yok Var
Parametre sayısı Daha az Daha fazla
Hız Genellikle daha hızlı Görece yavaş

Çalışmalar, iki birimin pek çok görevde benzer başarı gösterdiğini, hangisinin daha iyi olduğunun probleme bağlı olduğunu ortaya koymuştur.

Nerelerde kullanılır?

Konuşma tanıma, metin sınıflandırma, zaman serisi tahmini ve küçük cihazlarda çalışan sıralı modeller tipik örneklerdir. Büyük dil modellerinde ise yerini büyük ölçüde Transformer mimarisine bırakmıştır; yine de daha az kaynakla çalışması gereken uygulamalarda hâlâ tercih edilir.

Sıkça Sorulan Sorular

GRU mu LSTM mi tercih edilmeli?

Kesin bir kural yoktur. GRU daha az parametreyle daha hızlı eğitilir ve küçük veri setlerinde avantajlı olabilir; LSTM ise bazı uzun bağımlılık görevlerinde daha iyi sonuç verebilir. İkisini denemek en sağlıklı yoldur.

GRU kaybolan gradyan problemini nasıl azaltır?

Güncelleme kapısı, gizli durumun büyük kısmını adımlar boyunca neredeyse aynen taşıyabilir. Bu doğrudan yol, gradyanın çok küçülmeden geriye akmasını kolaylaştırır.

İlgili terimler

LSTM(Long Short-Term Memory)LSTM (uzun kısa süreli bellek), tekrarlayan sinir ağlarının uzun dizilerde bilgiyi unutma sorununu, neyin saklanıp neyin unutulacağına karar veren kapılar ve ayrı bir hücre durumu ile hafifleten sinir ağı yapısıdır.Tekrarlayan Sinir Ağı(Recurrent Neural Network)Tekrarlayan sinir ağı (RNN), metin, ses veya zaman serisi gibi sıralı verileri adım adım işleyen ve önceki adımlardan gelen bilgiyi gizli bir durumda taşıyarak bir tür kısa süreli hafıza kullanan sinir ağı türüdür.Kaybolan Gradyan Problemi(Vanishing Gradient Problem)Kaybolan gradyan problemi, derin sinir ağlarında geri yayılım sırasında gradyanların katmanlar boyunca küçüle küçüle sıfıra yaklaşması ve bu yüzden ilk katmanların neredeyse hiç öğrenememesidir. Uygun aktivasyon fonksiyonları ve mimari çözümlerle hafifletilir.Seq2Seq(Sequence-to-Sequence)Seq2Seq (sequence-to-sequence, diziden diziye), bir girdi dizisini alıp uzunluğu farklı olabilecek başka bir çıktı dizisi üreten model yapısıdır. Genellikle bir kodlayıcı ve bir çözücüden oluşur; makine çevirisi ve metin özetleme gibi görevlerin temelini oluşturur.Konuşma Tanıma(Speech Recognition)Konuşma tanıma, insan konuşmasını içeren ses kaydını yapay zekâ ile analiz ederek yazılı metne dönüştüren teknolojidir; sesli asistanların ve otomatik altyazının temelidir.Zaman Serisi Tahmini(Time Series Forecasting)Zaman serisi tahmini, zaman içinde sıralı olarak ölçülmüş geçmiş verilerden yararlanarak aynı büyüklüğün gelecekteki değerlerini öngörmeye çalışan istatistiksel ve makine öğrenmesi yöntemlerinin genel adıdır.

İlgili yazılar