İçeriğe geç
parazade
Yapay Zeka

Padding Ne Demek?

Yayın: · Son güncelleme:

Padding Ne Demek? Kısaca

Padding (dolgu), evrişimli sinir ağlarında girdinin kenarlarına genellikle sıfır değerli ek pikseller eklenmesidir. Böylece evrişim sonrasında çıktının boyutu korunabilir ve kenardaki pikseller de ortadakiler kadar işlenir. Dil modellerinde ise farklı uzunluktaki dizileri eşitlemek için kullanılır.

Padding nedir?
İçindekiler
  1. Padding ne demek?
  2. Padding nedir, neden gerekir?
  3. Padding türleri
  4. Dil modellerinde padding
  5. Nelere dikkat etmeli?

Padding ne demek?

Padding, İngilizcede "dolgu" anlamına gelir. Yapay zekâda iki yaygın kullanımı vardır: Evrişimli ağlarda görüntünün kenarlarına ek pikseller eklemek ve dil modellerinde kısa dizileri özel bir dolgu token'ıyla uzatmak. Bu madde ağırlıklı olarak ilkini anlatır.

Padding nedir, neden gerekir?

Bir evrişim filtresi görüntü üzerinde kaydırıldığında, kenarlardaki pikseller ortadakilere göre daha az pencereye girer. Ayrıca her evrişim katmanı çıktıyı biraz küçültür; derin ağlarda bu küçülme hızla birikir. Padding iki sorunu da hafifletir:

  • Çıktının genişlik ve yüksekliğini korumayı sağlar.
  • Kenar bilgisinin kaybolmasını azaltır.

Varsayımsal örnek: 5×5'lik bir görüntüye 3×3 filtre uygulanırsa (stride 1) çıktı 3×3 olur. Kenarlara birer piksellik sıfır dolgu eklenirse girdi 7×7'ye çıkar ve çıktı yine 5×5 olur.

Padding türleri

Tür Açıklama
Valid (dolgusuz) Hiç dolgu eklenmez, çıktı küçülür
Same (aynı) Stride 1 iken çıktı girdiyle aynı boyutta kalacak kadar dolgu eklenir
Sıfır dolgu Eklenen pikseller sıfırdır; en yaygın yöntem
Yansıtma / tekrar Kenar pikselleri aynalanır ya da kopyalanır

Dil modellerinde padding

Bir grup cümle birlikte işlenirken hepsinin aynı uzunlukta olması gerekir. Kısa olanlar özel bir dolgu token'ıyla tamamlanır ve dikkat maskesi sayesinde model bu token'ları görmezden gelir.

Nelere dikkat etmeli?

Sıfır dolgu, kenarlarda yapay bir sınır etkisi yaratabilir; bu bazı görüntü üretim görevlerinde fark edilebilir. Padding, stride ve filtre boyutuyla birlikte çıktı boyutunu belirler, bu yüzden üçü birlikte düşünülmelidir.

Sıkça Sorulan Sorular

Padding nedir, same ve valid arasındaki fark ne?

Padding, girdinin kenarlarına ek değerler eklenmesidir. Valid ayarında dolgu yapılmaz ve çıktı küçülür; same ayarında ise çıktı boyutu, stride 1 iken girdiyle aynı kalacak şekilde dolgu eklenir.

Dil modellerinde padding token ne işe yarar?

Farklı uzunluktaki metinleri aynı grupta işleyebilmek için kısa dizileri tamamlar. Dikkat maskesi sayesinde model bu dolgu token'larını anlamlı içerik olarak değerlendirmez.

İlgili terimler

Evrişim(Convolution)Evrişim (convolution), küçük bir filtrenin bir görüntü ya da sinyal üzerinde kaydırılarak her konumda çarpım ve toplama yapıldığı matematiksel işlemdir. Derin öğrenmede kenar, doku ve şekil gibi yerel desenleri yakalamak için evrişimli sinir ağlarının temelini oluşturur.StrideStride, evrişimli sinir ağlarında filtrenin görüntü üzerinde her adımda kaç piksel kaydırılacağını belirleyen ayardır. Stride 1 ise filtre birer piksel, 2 ise ikişer piksel ilerler; değer büyüdükçe çıktı özellik haritası küçülür.Evrişimli Sinir Ağı(Convolutional Neural Network)Evrişimli sinir ağı (CNN), görüntü gibi ızgara yapılı verilerde küçük filtreleri veri üzerinde kaydırarak kenar, doku ve şekil gibi özellikleri katman katman öğrenen bir derin öğrenme mimarisidir.TokenizerTokenizer, bir metni dil modelinin işleyebileceği token adlı küçük birimlere (kelime, kelime parçası ya da karakter) bölen ve bunları sayısal kimliklere çeviren bileşendir. Her modelin kendine ait bir tokenizer'ı vardır.TokenToken, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası ya da bir noktalama işareti olabilir. Modellerin hızı, bağlam penceresi ve kullanım ücretleri genellikle token sayısıyla ölçülür.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.