Seq2Seq Nedir?
İngilizce: Sequence-to-Sequence
Yayın: · Son güncelleme:
Seq2Seq Nedir? Kısaca
Seq2Seq (sequence-to-sequence, diziden diziye), bir girdi dizisini alıp uzunluğu farklı olabilecek başka bir çıktı dizisi üreten model yapısıdır. Genellikle bir kodlayıcı ve bir çözücüden oluşur; makine çevirisi ve metin özetleme gibi görevlerin temelini oluşturur.
Seq2Seq nedir?
Seq2Seq, İngilizce sequence-to-sequence ifadesinin kısaltmasıdır ve "diziden diziye" anlamına gelir. Girdisi de çıktısı da bir dizi olan problemler için kullanılan genel bir model yapısını tanımlar. Örneğin Türkçe bir cümleyi İngilizceye çevirmek, uzun bir metni özetlemek ya da bir ses kaydını yazıya dökmek bu tür görevlerdir. Girdi ve çıktı uzunluklarının farklı olabilmesi yapının en önemli özelliğidir.
Yaklaşım, 2014'te Ilya Sutskever, Oriol Vinyals ve Quoc Le'nin LSTM tabanlı çeviri çalışmasıyla ve aynı dönemdeki kodlayıcı-çözücü çalışmalarıyla yaygınlaştı.
Nasıl çalışır?
- Kodlayıcı (encoder): Girdi dizisini adım adım okur ve anlamını sayısal bir temsile dönüştürür.
- Çözücü (decoder): Bu temsili kullanarak çıktı dizisini her seferinde bir öğe olacak şekilde üretir. Ürettiği her öğe, bir sonraki adımın girdisi olur.
Varsayımsal örnek: Kodlayıcı "Bugün hava güzel" cümlesini okur; çözücü sırayla "The", "weather", "is", "nice", "today" kelimelerini üretir ve bir bitiş işaretiyle durur.
Dikkat mekanizmasıyla gelişim
İlk Seq2Seq modelleri tüm girdiyi tek bir sabit uzunluklu vektöre sıkıştırıyordu; uzun cümlelerde bu bilgi kaybına yol açtı. Dikkat mekanizması, çözücünün her adımda girdinin ilgili kısımlarına doğrudan bakmasını sağlayarak bu sorunu büyük ölçüde çözdü. Daha sonra Transformer mimarisi de kodlayıcı-çözücü yapısını tamamen dikkat üzerine kurdu.
Nerelerde kullanılır?
- Makine çevirisi
- Metin özetleme
- Konuşmadan yazıya dönüştürme
- Soru yanıtlama ve sohbet sistemleri
Bugün T5 gibi modeller de temelde Seq2Seq mantığıyla çalışır. Çözücü yanlış bir öğe ürettiğinde hata sonraki adımlara taşınabilir; bu yüzden ışın araması (beam search) gibi kod çözme yöntemleri kullanılır.
Sıkça Sorulan Sorular
Seq2Seq ile Transformer aynı şey mi?
Hayır. Seq2Seq bir görev ve yapı tanımıdır; kodlayıcı ve çözücü RNN, LSTM ya da Transformer ile kurulabilir. Orijinal Transformer, Seq2Seq görevleri için tasarlanmış bir kodlayıcı-çözücü mimarisidir.
Seq2Seq modelleri hangi görevlerde kullanılır?
Girdisi ve çıktısı dizi olan görevlerde kullanılır: çeviri, özetleme, konuşma tanıma ve bazı soru yanıtlama sistemleri en bilinen örneklerdir.