LoRA Nedir?

LoRA nedir?

Büyük bir modeli baştan eğitmek ya da tüm ağırlıklarını yeniden ayarlamak çok güçlü donanım gerektirir. LoRA farklı bir yol izler: ana modelin ağırlıkları dondurulur ve modelin belirli katmanlarına eklenen küçük, düşük boyutlu (low-rank) matrisler eğitilir. Ortaya çıkan LoRA dosyası, ana modelin yanında yüklenerek onun davranışını değiştirir.

Neden yaygın kullanılır?

• Küçük dosya: LoRA dosyaları, ana modelin yanında oldukça küçüktür; birçoğu tek bir model dosyasından çok daha az yer kaplar.
• Düşük donanım ihtiyacı: Eğitilen parametre sayısı az olduğu için tüketici sınıfı ekran kartlarında eğitim mümkün olabilir.
• Değiştirilebilirlik: Aynı ana modelle farklı LoRA'lar kullanılabilir, gerektiğinde birden fazlası birleştirilebilir ve etkisi bir güç değeriyle artırılıp azaltılabilir.

Nerelerde kullanılır?

Görsel üretimde LoRA en çok bir çizim tarzını, bir ürünü ya da bir karakteri modele öğretmek için kullanılır. Bunun için genellikle birkaç düzine özenle seçilmiş görsel ve her görselin kısa bir açıklaması hazırlanır. Dil modellerinde ise LoRA, modeli belirli bir yazım tarzına, alana ya da görev biçimine uyarlamak için tercih edilir.

Dikkat edilmesi gerekenler

Az eğitim tarzın yeterince yansımamasına, aşırı eğitim ise üretilen sonuçların eğitim verisinin kopyası gibi görünmesine yol açabilir. Bu yüzden eğitim sırasında ara kayıtlar alınıp farklı aşamalar karşılaştırılır. Başkalarına ait görsellerle ya da kişilerle eğitim yaparken telif ve kişilik haklarına dikkat edilmelidir.