İçeriğe geç
parazade
Yapay Zeka

DistilBERT Nedir?

Yayın: · Son güncelleme:

DistilBERT Nedir? Kısaca

DistilBERT, bilgi damıtma yöntemiyle BERT'ten türetilmiş, yaklaşık yarı sayıda katmana sahip, daha küçük ve daha hızlı bir dil modelidir; BERT'in dil anlama yeteneğinin büyük kısmını korurken daha az kaynakla çalışır.

DistilBERT nedir?
İçindekiler
  1. DistilBERT nedir?
  2. Nasıl eğitilir?
  3. Ne zaman tercih edilir?
  4. Sınırları

DistilBERT, adını "distillation" yani damıtma kelimesinden alan, BERT modelinin küçültülmüş bir sürümüdür. 2019'da tanıtıldı ve büyük dil modellerini sıkıştırmanın pratik bir örneği olarak yaygınlaştı.

DistilBERT nedir?

BERT-base modelinde 12 transformer katmanı bulunur. DistilBERT bu sayıyı 6'ya indirir. Orijinal çalışmada modelin parametre sayısının yaklaşık %40 azaldığı, çıkarımın yaklaşık %60 hızlandığı ve GLUE testlerinde BERT'in dil anlama performansının yaklaşık %97'sinin korunduğu bildirilmiştir.

Nasıl eğitilir?

DistilBERT, bilgi damıtma yöntemiyle eğitilir. Bu yöntemde büyük model "öğretmen", küçük model "öğrenci" rolündedir:

  • Damıtma kaybı: Öğrenci, yalnızca doğru kelimeyi değil, öğretmenin tüm olasılık dağılımını taklit etmeyi öğrenir. Bu "yumuşak etiketler", hangi kelimelerin birbirine yakın olduğu gibi zengin bilgiler taşır.
  • Maskeli dil modelleme kaybı: BERT'teki gibi maskelenen kelimeler tahmin edilir.
  • Kosinüs kaybı: Öğrencinin iç temsillerinin yönü öğretmeninkine yaklaştırılır.

Ayrıca öğrencinin katmanları, öğretmenin katmanlarından seçilerek başlatılır; bu da eğitimi hızlandırır.

Ne zaman tercih edilir?

  • Mobil cihazlar veya sınırlı sunucu kaynakları gibi hız ve bellek önemli olduğunda
  • Çok sayıda metnin düşük gecikmeyle sınıflandırılması gerektiğinde
  • Doğrulukta küçük bir kayıp kabul edilebilir olduğunda

Sınırları

DistilBERT, BERT gibi bir kodlayıcı modeldir; metin anlamaya yöneliktir, uzun metin üretmek için tasarlanmamıştır. Karmaşık görevlerde büyük modellere göre daha fazla hata yapabilir. Orijinal sürüm İngilizcedir; diğer diller için çok dilli ya da dile özel türevlere bakmak gerekir.

Sıkça Sorulan Sorular

DistilBERT ile BERT arasındaki fark nedir?

DistilBERT, BERT'in yarı sayıda katmana sahip, damıtma ile eğitilmiş küçük sürümüdür. Daha hızlı çalışır ve daha az bellek kullanır; buna karşılık doğrulukta genellikle küçük bir kayıp yaşanır.

DistilBERT neden 'damıtılmış' olarak adlandırılır?

Çünkü bilgi damıtma yöntemiyle eğitilir. Büyük BERT modeli öğretmen olarak kullanılır ve küçük model, öğretmenin tahmin dağılımlarını taklit ederek onun bilgisini daha kompakt bir yapıya aktarır.

İlgili terimler

Bilgi Damıtma(Knowledge Distillation)Bilgi damıtma (knowledge distillation), büyük ve güçlü bir 'öğretmen' modelin çıktılarını kullanarak daha küçük, hızlı ve ucuz bir 'öğrenci' modeli eğitme tekniğidir. Amaç, performansın büyük kısmını korurken maliyeti düşürmektir.BERTBERT (Bidirectional Encoder Representations from Transformers), Google araştırmacılarının 2018'de tanıttığı, metni iki yönden okuyarak her kelimenin bağlamsal anlamını öğrenen Transformer kodlayıcı tabanlı bir dil modelidir. Sınıflandırma ve arama gibi anlama görevlerinde yaygın kullanılır.RoBERTaRoBERTa (Robustly Optimized BERT Approach), BERT mimarisini koruyup eğitim sürecini değiştiren bir dil modelidir; daha fazla veri, daha uzun eğitim, dinamik maskeleme ve sonraki cümle tahmini görevinin kaldırılmasıyla daha iyi sonuçlar elde eder.Küçük Dil Modeli(Small Language Model)Küçük dil modeli (SLM), büyük dil modellerine göre çok daha az parametre içeren ve bu sayede telefon, dizüstü bilgisayar gibi sınırlı donanımlarda ya da düşük maliyetle çalışabilen dil modelidir. Genellikle belirli görevlere odaklanır ve gizlilik ile hız avantajı sunar.TransformerTransformer, metin gibi sıralı verileri dikkat mekanizmasıyla paralel işleyen ve büyük dil modellerinin çoğunun temelini oluşturan bir sinir ağı mimarisidir.GLUE(GLUE Benchmark)GLUE (General Language Understanding Evaluation), dil modellerinin genel dil anlama yeteneğini duygu analizi, anlam benzerliği ve çıkarım gibi dokuz farklı İngilizce görev üzerinden ölçen ve tek bir ortalama skorla özetleyen kıyaslama testidir.