Bilgi Damıtma (Knowledge Distillation) Nedir?

Bilgi damıtma, büyük bir modelin öğrendiklerini daha küçük bir modele "özetleyerek" aktarma yöntemidir. Büyük modeller başarılı ama çalıştırması pahalı ve yavaştır. Küçük modeller ise telefon, dizüstü bilgisayar ya da düşük maliyetli sunucularda çalışabilir. Damıtma bu iki dünyayı birleştirmeye çalışır.

Nasıl çalışır?

1. Öğretmen model çok sayıda örnek için tahmin üretir.
2. Öğrenci model yalnızca doğru cevabı değil, öğretmenin olasılık dağılımını da taklit etmeyi öğrenir. Örneğin öğretmenin "bu görsel %80 kedi, %15 vaşak, %5 köpek" demesi, öğrenciye sınıflar arasındaki benzerlik hakkında da bilgi verir. Bu dağılımlara "yumuşak etiketler" denir.
3. Dil modellerinde bu süreç çoğu zaman öğretmen modelin ürettiği yüksek kaliteli cevaplarla öğrencinin eğitilmesi biçiminde uygulanır; bu cevaplar bir tür sentetik veri olarak kullanılır.

Örnek

Varsayımsal bir şirket, müşteri yorumlarını sınıflandırmak için büyük bir dil modeli kullanıyor ama maliyet yüksek. Büyük modelin etiketlediği on binlerce yorumla küçük bir model eğitiliyor. Küçük model aynı işi çok daha hızlı ve ucuz yapıyor, doğruluk ise kabul edilebilir ölçüde biraz düşüyor.

Diğer küçültme yöntemleriyle farkı

Yöntem	Ne yapar?
Bilgi damıtma	Yeni, küçük bir model eğitir
Niceleme	Mevcut modelin sayılarını daha düşük hassasiyetle saklar
Budama	Önemsiz bağlantıları çıkarır

Bu yöntemler sıklıkla birlikte kullanılır.

Nelere dikkat etmeli?

Öğrenci model genellikle öğretmenin hatalarını ve önyargılarını da devralır. Dar bir görev için damıtılmış model, o görevin dışında zayıf kalabilir. Ayrıca bazı model sağlayıcıları, kendi modellerinin çıktılarıyla rakip model eğitilmesini kullanım koşullarında yasaklar; bu koşulları kontrol etmek gerekir.