İçeriğe geç
parazade
Yapay Zeka

Prefix Tuning Nedir?

Yayın: · Son güncelleme:

Prefix Tuning Nedir? Kısaca

Prefix tuning (önek ayarı), dil modelinin ağırlıklarını dondurup her katmandaki dikkat hesabına eklenen küçük, eğitilebilir sürekli vektörler (önekler) aracılığıyla modeli belirli bir göreve uyarlayan parametre verimli bir ince ayar yöntemidir.

Prefix Tuning nedir?
İçindekiler
  1. Prefix tuning nedir?
  2. Nasıl çalışır?
  3. Nelere dikkat etmeli?

Prefix tuning, 2021'de yayımlanan bir çalışmayla tanıtılan bir PEFT yöntemidir. Modelin kendisi değişmez; yalnızca göreve özgü bir "önek" öğrenilir. Bu sayede tek bir temel model, farklı görevler için farklı öneklerle kullanılabilir.

Prefix tuning nedir?

Bir metne ne yazacağını anlatan bir giriş cümlesi eklemek gibi düşünebilirsin. Ancak buradaki önek, insanın okuyabileceği kelimeler değildir. Model tarafından öğrenilen sayısal vektörlerdir ve "sanal token" gibi davranır. Bu vektörler, transformer modelinin her katmanındaki dikkat mekanizmasına, anahtar ve değer vektörlerinin önüne eklenir. Model gerçek girdiyi işlerken bu öneklere de "bakar" ve çıktısı göreve göre yönlenir.

Nasıl çalışır?

  • Temel modelin tüm ağırlıkları dondurulur.
  • Her katman için küçük bir önek vektör dizisi tanımlanır.
  • Eğitim boyunca yalnızca bu önekler güncellenir.
  • Çıkarım sırasında göreve uygun önek yüklenir; aynı model farklı öneklerle farklı işler yapabilir.

Özgün çalışmada eğitimi kararlı kılmak için öneklerin doğrudan değil, küçük bir yardımcı ağ üzerinden üretilmesi önerildi.

Nelere dikkat etmeli?

Prefix tuning çok az parametreyle çalıştığı için depolama açısından verimlidir. Ancak önekler bağlamda yer kapladığından kullanılabilir girdi uzunluğu bir miktar azalır. Bazı görevlerde LoRA gibi yöntemler daha iyi ya da daha kararlı sonuç verebilir; yöntem seçimini kendi verinle deneyerek yapmak gerekir.

Sıkça Sorulan Sorular

Prefix tuning ile prompt tuning aynı şey mi?

Benzerdir ama aynı değildir. Prompt tuning eğitilebilir vektörleri yalnızca girdi katmanına eklerken, prefix tuning bunları modelin her katmanına ekler.

Prefix tuning modeli değiştirir mi?

Hayır. Temel modelin ağırlıkları dondurulur; yalnızca göreve özgü önek vektörleri eğitilir ve ayrı olarak saklanır.

İlgili terimler

PEFT(Parameter-Efficient Fine-Tuning)PEFT (Parameter-Efficient Fine-Tuning), büyük bir yapay zekâ modelini tüm ağırlıklarını yeniden eğitmeden, yalnızca küçük bir parametre kümesini güncelleyerek ya da modele küçük ek parçalar ekleyerek yeni bir göreve uyarlayan ince ayar yöntemlerinin genel adıdır.Prompt TuningPrompt tuning, dil modelinin ağırlıklarını değiştirmeden, girdinin başına eklenen ve eğitimle öğrenilen küçük bir vektör dizisi (yumuşak prompt) sayesinde modeli belirli bir göreve uyarlayan parametre verimli bir ince ayar yöntemidir.LoRA(Low-Rank Adaptation)LoRA (Low-Rank Adaptation), büyük bir yapay zekâ modelinin ağırlıklarını değiştirmeden, üzerine eklenen küçük bir dosyayla modele yeni bir tarz, karakter ya da görev öğretme yöntemidir. Tam eğitime göre çok daha az bellek ve süre gerektirir.İnce Ayar(Fine-tuning)İnce ayar (fine-tuning), önceden eğitilmiş bir yapay zekâ modelini daha küçük ve göreve özel bir veri kümesiyle yeniden eğiterek belirli bir işe, üsluba veya alana uyarlama işlemidir.Temel Model(Foundation Model)Temel model, çok geniş ve çeşitli verilerle ön eğitilen, ardından ince ayar veya promptlarla pek çok farklı göreve uyarlanabilen büyük ölçekli yapay zekâ modelidir.TransformerTransformer, metin gibi sıralı verileri dikkat mekanizmasıyla paralel işleyen ve büyük dil modellerinin çoğunun temelini oluşturan bir sinir ağı mimarisidir.