Sürekli Öğrenme Nedir?
İngilizce: Continual Learning
Yayın: · Son güncelleme:
Sürekli Öğrenme Nedir? Kısaca
Sürekli öğrenme (continual learning), bir yapay zekâ modelinin zaman içinde art arda gelen yeni görevleri ya da veri türlerini öğrenirken, daha önce öğrendiği bilgileri unutmadan biriktirmesini hedefleyen makine öğrenmesi alanıdır.
Sürekli öğrenme (continual learning), bir modelin insanlar gibi hayat boyu öğrenmeye devam edebilmesini amaçlayan yaklaşımdır. Hedef, yeni bilgi eklendiğinde eski becerilerin kaybolmaması ve modeli her seferinde sıfırdan eğitme ihtiyacının azalmasıdır. Literatürde "yaşam boyu öğrenme" ya da "artımlı öğrenme" adlarıyla da geçer.
Sürekli öğrenme nedir?
Sinir ağlarının bilinen bir zayıflığı felaket boyutunda unutmadır (catastrophic forgetting). Bir model önce kedi ve köpekleri ayırt etmeyi öğrenip ardından yalnızca kuş türleriyle eğitilirse, ağırlıkları yeni göreve göre değişir ve eski görevdeki başarısı ciddi biçimde düşebilir. Sürekli öğrenme, bu sorunu hafifletecek yöntemler geliştirir.
Nasıl çalışır?
| Yaklaşım | Fikir |
|---|---|
| Tekrar (replay) | Eski verilerden küçük bir örnek saklanır ve yeni verilerle karıştırılarak eğitime katılır |
| Düzenleme | Eski görevler için önemli olan ağırlıkların fazla değişmesi cezalandırılır |
| Mimari yöntemler | Her yeni görev için ağa ayrı parçalar ya da adaptörler eklenir |
Bu yöntemlerin her biri farklı bir denge kurar: Tekrar yöntemi etkili ama veri saklamayı gerektirir; mimari yöntemler unutmayı azaltır ama model büyür.
Nelere dikkat etmeli?
Sürekli öğrenme, çevrimiçi öğrenme ile karıştırılabilir. Çevrimiçi öğrenme veriyi akış hâlinde işlemeye, sürekli öğrenme ise birikimli olarak yeni görevler eklerken eski bilgiyi korumaya odaklanır. Alan hâlâ aktif bir araştırma konusudur: Yeni bilgiyi öğrenme esnekliği ile eskiyi koruma kararlılığı arasında doğal bir gerilim vardır. Büyük dil modellerinde de güncel bilgiyi modele eklemek için sürekli öğrenme yöntemleri araştırılıyor; ancak bu tür güncellemeler modelin önceki davranışlarını beklenmedik biçimde değiştirebileceği için dikkatli değerlendirme gerektirir.
Sıkça Sorulan Sorular
Felaket boyutunda unutma ne demek?
Bir sinir ağının yeni bir görev üzerinde eğitilirken ağırlıklarının değişmesi sonucu eski görevlerdeki başarısını büyük ölçüde kaybetmesidir. Sürekli öğrenmenin çözmeye çalıştığı temel sorundur.
Sürekli öğrenme ile ince ayar arasındaki fark nedir?
İnce ayar, önceden eğitilmiş bir modeli yeni bir göreve uyarlar ve eski görevdeki performansı korumayı genellikle hedeflemez. Sürekli öğrenme ise yeni görevleri eklerken eski bilgileri de korumayı amaçlar.