İçeriğe geç
parazade
Yapay Zeka

Prompt Tuning Nedir?

Yayın: · Son güncelleme:

Prompt Tuning Nedir? Kısaca

Prompt tuning, dil modelinin ağırlıklarını değiştirmeden, girdinin başına eklenen ve eğitimle öğrenilen küçük bir vektör dizisi (yumuşak prompt) sayesinde modeli belirli bir göreve uyarlayan parametre verimli bir ince ayar yöntemidir.

Prompt Tuning nedir?
İçindekiler
  1. Prompt tuning nedir?
  2. Nasıl çalışır?
  3. Prompt mühendisliğinden farkı

Prompt tuning, adında "prompt" geçse de elle yazılan bir talimat değildir. Model, görevi en iyi yerine getirmesini sağlayacak sayısal vektörleri kendisi öğrenir. Bu yüzden bunlara "yumuşak prompt" (soft prompt) denir. Elle yazılan normal talimatlara ise karşıt olarak "sert prompt" denir.

Prompt tuning nedir?

Normal bir prompt kelimelerden oluşur; her kelime tokenlere ayrılıp vektöre çevrilir. Prompt tuning'de ise girdinin başına, herhangi bir kelimeye karşılık gelmeyen birkaç düzine eğitilebilir vektör eklenir. Eğitim sırasında modelin tüm ağırlıkları dondurulur; yalnızca bu vektörler güncellenir.

Nasıl çalışır?

  1. Göreve özgü örnek veri hazırlanır (ör. duygu sınıflandırması için etiketli yorumlar).
  2. Girdinin önüne sabit sayıda eğitilebilir vektör eklenir.
  3. Model çıktısı ile doğru cevap karşılaştırılır ve hata yalnızca bu vektörlere yansıtılır.
  4. Sonuçta her görev için küçük bir vektör dosyası elde edilir.

Yöntemi tanıtan 2021 tarihli çalışma, model büyüdükçe prompt tuning'in tam ince ayara yaklaştığını gösterdi.

Prompt mühendisliğinden farkı

Prompt mühendisliğinde talimatı insan yazar ve model hiç eğitilmez. Prompt tuning ise bir eğitim sürecidir ve okunabilir metin üretmez. Öğrenilen vektörler yalnızca eğitildikleri modelle çalışır; başka modele taşınamaz. Küçük modellerde başarımı sınırlı kalabilir, bu yüzden sonucu kendi verinle ölçmek önemlidir.

Sıkça Sorulan Sorular

Prompt tuning ile prompt mühendisliği aynı mı?

Hayır. Prompt mühendisliğinde insan, modele verilecek metni elle tasarlar. Prompt tuning'de ise metin yerine sayısal vektörler veriyle eğitilir.

Yumuşak prompt okunabilir mi?

Doğrudan okunamaz. Vektörler kelime dağarcığındaki herhangi bir kelimeye birebir karşılık gelmez; yalnızca modelin iç temsil uzayında anlamlıdır.

İlgili terimler

Prefix TuningPrefix tuning (önek ayarı), dil modelinin ağırlıklarını dondurup her katmandaki dikkat hesabına eklenen küçük, eğitilebilir sürekli vektörler (önekler) aracılığıyla modeli belirli bir göreve uyarlayan parametre verimli bir ince ayar yöntemidir.PEFT(Parameter-Efficient Fine-Tuning)PEFT (Parameter-Efficient Fine-Tuning), büyük bir yapay zekâ modelini tüm ağırlıklarını yeniden eğitmeden, yalnızca küçük bir parametre kümesini güncelleyerek ya da modele küçük ek parçalar ekleyerek yeni bir göreve uyarlayan ince ayar yöntemlerinin genel adıdır.Prompt Mühendisliği(Prompt Engineering)Prompt mühendisliği, bir yapay zekâ modelinden doğru, tutarlı ve istenen biçimde çıktı almak için talimatları (promptları) bilinçli biçimde tasarlama, deneme ve iyileştirme sürecidir. Rol, bağlam, örnek ve çıktı biçimi gibi öğeleri kapsar.İnce Ayar(Fine-tuning)İnce ayar (fine-tuning), önceden eğitilmiş bir yapay zekâ modelini daha küçük ve göreve özel bir veri kümesiyle yeniden eğiterek belirli bir işe, üsluba veya alana uyarlama işlemidir.PromptPrompt (istem), bir yapay zekâ modeline ne yapmasını istediğinizi anlatan metindir; bir soru, talimat, örnek ya da bunların birleşimi olabilir. Modelin cevabının kalitesi büyük ölçüde promptun ne kadar açık ve ayrıntılı yazıldığına bağlıdır.Vektör(Vector)Vektör, matematikte hem büyüklüğü hem yönü olan bir nicelik; yapay zekâda ise sıralı bir sayı listesidir. Metin, görsel ya da kullanıcı gibi nesneler vektörlerle sayısal olarak temsil edilir ve karşılaştırılır.