İçeriğe geç
parazade
Yapay Zeka

Dropout Ne Demek?

Yayın: · Son güncelleme:

Dropout Ne Demek? Kısaca

Dropout, yapay sinir ağlarının eğitimi sırasında her adımda nöronların bir kısmını rastgele geçici olarak devre dışı bırakan ve böylece ağın belirli nöronlara aşırı bağımlı olmasını önleyerek aşırı öğrenmeyi azaltan bir düzenlileştirme tekniğidir.

Dropout nedir?
İçindekiler
  1. Dropout ne demek?
  2. Dropout nedir, neden işe yarar?
  3. Eğitim ve test farkı
  4. Nelere dikkat etmeli?

Dropout, İngilizcede "bırakma, dışarıda kalma" anlamına gelir. Yapay sinir ağlarında eğitim sırasında bazı nöronların rastgele "kapatılması" anlamında kullanılır. Amaç, ağın eğitim verisini ezberlemesini, yani aşırı öğrenmeyi azaltmaktır.

Dropout ne demek?

Eğitimin her adımında, belirlenen bir katmandaki nöronların her biri belirli bir olasılıkla (örneğin yüzde 20 ya da yüzde 50) sıfırlanır. Kapatılan nöronlar o adımda ne çıktı üretir ne de güncellenir. Bir sonraki adımda farklı nöronlar rastgele kapatılır.

Dropout nedir, neden işe yarar?

Dropout olmadan nöronlar birbirine aşırı uyum sağlayabilir: Bir nöron, başka bir nöronun hatasını telafi etmeye "alışır". Bu tür kırılgan iş birlikleri eğitim verisinde iyi sonuç verir ama yeni veride bozulur. Dropout, her nöronu diğerlerinin her zaman orada olmayacağını varsayarak daha bağımsız ve genel özellikler öğrenmeye zorlar.

Bir başka yorum da şudur: Her adımda farklı bir "alt ağ" eğitilir; test sırasında tüm ağ kullanılır ve bu, çok sayıda alt ağın ortalamasını almaya benzer.

Eğitim ve test farkı

  • Eğitimde: Nöronlar rastgele kapatılır, açık kalanların çıktıları ölçeklenir.
  • Testte ve gerçek kullanımda: Dropout kapatılır, tüm nöronlar çalışır.

Bu ölçekleme sayesinde iki aşamada çıktıların büyüklüğü tutarlı kalır.

Nelere dikkat etmeli?

  • Oran fazla yüksek seçilirse ağ yeterince öğrenemez.
  • Çok büyük veriyle eğitilen bazı modern dil modellerinde dropout düşük tutulur ya da hiç kullanılmaz.
  • Değerlendirme yaparken modelin "test moduna" alınmayı unutmak, tutarsız sonuçlara yol açar.

Sıkça Sorulan Sorular

Dropout nedir, hangi oran seçilmeli?

Dropout, eğitimde nöronları rastgele devre dışı bırakan bir düzenlileştirme tekniğidir. Oran modele ve veriye göre değişir; uygun değer doğrulama verisiyle denenerek bulunur.

Dropout tahmin sırasında da çalışır mı?

Normalde hayır; yalnızca eğitimde kullanılır. Ancak belirsizlik tahmini için bilinçli olarak tahminde de açık tutulan Monte Carlo dropout gibi yöntemler vardır.

İlgili terimler

Aşırı Öğrenme(Overfitting)Aşırı öğrenme (overfitting), bir modelin eğitim verisindeki genel kalıplar yerine gürültü ve ayrıntıları ezberlemesi sonucu eğitimde çok başarılı, yeni verilerde ise zayıf sonuç vermesidir.Monte Carlo DropoutMonte Carlo dropout, eğitimde kullanılan dropout katmanlarını tahmin aşamasında da açık bırakıp aynı girdiyle modeli birçok kez çalıştırarak tahminlerin dağılımından modelin belirsizliğini tahmin eden bir yöntemdir.Ağırlık Azaltma(Weight Decay)Ağırlık azaltma (weight decay), sinir ağı eğitiminde her güncelleme adımında model ağırlıklarını küçük bir oranda sıfıra doğru çeken, böylece büyük ağırlıkları cezalandırarak aşırı öğrenmeyi azaltan bir düzenlileştirme tekniğidir.Yapay Sinir Ağı(Artificial Neural Network)Yapay sinir ağı, birbirine bağlı yapay nöron katmanlarından oluşan ve bağlantı ağırlıklarını veriyle ayarlayarak öğrenen, beyinden esinlenmiş bir hesaplama modelidir.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.Dil Tespiti(Language Detection)Dil tespiti (language detection), bir metnin ya da ses kaydının hangi dilde olduğunu otomatik olarak belirleyen doğal dil işleme görevidir. Çeviri, arama motorları ve içerik moderasyonu gibi pek çok sistemin ilk adımıdır.