Swin Transformer Nedir?
Yayın: · Son güncelleme:
Swin Transformer Nedir? Kısaca
Swin Transformer, dikkat hesabını görüntünün küçük pencereleri içinde yapan ve bu pencereleri katmandan katmana kaydırarak bölgeler arası bilgi akışı sağlayan, hiyerarşik yapıda bir görüntü işleme transformer mimarisidir.
Swin Transformer, transformer mimarisini bilgisayarlı görü görevlerine verimli biçimde uyarlayan bir modeldir. Adı "Shifted Windows", yani kaydırılan pencereler ifadesinden gelir. 2021'de tanıtıldı ve sınıflandırma, nesne tespiti ve bölütleme gibi görevlerde güçlü sonuçlar verdi.
Swin Transformer nedir?
Görüntüleri doğrudan transformer ile işlemenin bir sorunu vardır: Standart öz dikkat, her görüntü parçasını diğer tüm parçalarla karşılaştırır. Görüntü çözünürlüğü arttıkça bu hesap maliyeti hızla büyür. Swin Transformer bu sorunu iki fikirle çözer:
- Pencere içi dikkat: Görüntü sabit boyutlu pencerelere bölünür ve dikkat yalnızca pencere içinde hesaplanır. Böylece maliyet görüntü boyutuyla yaklaşık doğrusal artar.
- Kaydırılan pencereler: Bir sonraki katmanda pencere ızgarası yarım pencere kadar kaydırılır. Böylece önceki katmanda farklı pencerelerde kalan bölgeler artık birbirini "görebilir".
Hiyerarşik yapı
Swin, evrişimli sinir ağlarına benzer biçimde çok ölçekli çalışır. Katmanlar ilerledikçe komşu parçalar birleştirilir (patch merging); çözünürlük düşerken kanal sayısı artar. Bu sayede farklı boyuttaki nesneleri yakalamak kolaylaşır ve model, nesne tespiti ile bölütleme sistemlerinde omurga (backbone) olarak kullanılabilir.
Nelere dikkat etmeli?
- Pencere boyutu, modelin bir adımda ne kadar geniş bir bağlamı gördüğünü belirler.
- Büyük Swin modelleri iyi sonuç için bol veri ve hesaplama gücü ister; küçük veri setlerinde önceden eğitilmiş ağırlıklarla ince ayar yapmak yaygındır.
- Video ve tıbbi görüntü gibi alanlar için türetilmiş sürümleri de bulunur.
Swin Transformer, görü transformer'larının yüksek çözünürlüklü görüntülerde pratik hâle gelmesinde önemli bir adım olarak kabul edilir.
Sıkça Sorulan Sorular
Swin Transformer ile ViT arasındaki fark nedir?
ViT tüm görüntü parçaları arasında küresel dikkat hesaplar ve tek ölçekte çalışır. Swin Transformer ise dikkati yerel pencerelerle sınırlar, pencereleri kaydırarak bağlantı kurar ve hiyerarşik bir yapı kullanır; bu da yüksek çözünürlükte daha verimlidir.
Swin Transformer hangi görevlerde kullanılır?
Görüntü sınıflandırma, nesne tespiti, anlamsal bölütleme ve görüntü restorasyonu gibi görevlerde kullanılır. Hiyerarşik yapısı sayesinde birçok tespit ve bölütleme sisteminde omurga ağ olarak tercih edilir.