İçeriğe geç
parazade
Yapay Zeka

AWQ Ne Demek?

İngilizce: Activation-aware Weight Quantization

Yayın: · Son güncelleme:

AWQ Ne Demek? Kısaca

AWQ (Activation-aware Weight Quantization), büyük dil modellerinin ağırlıklarını 4 bit gibi düşük hassasiyete sıkıştırırken, aktivasyon değerlerine bakarak en önemli ağırlıkları tespit edip ölçekleme yoluyla koruyan bir eğitim sonrası niceleme yöntemidir.

AWQ nedir?
İçindekiler
  1. AWQ ne demek?
  2. Nasıl çalışır?
  3. Nelere dikkat etmeli?

AWQ, Türkçede "aktivasyon duyarlı ağırlık nicelemesi" anlamına gelir. 2023'te yayımlanan bir akademik çalışmayla tanıtıldı ve özellikle cihaz üzerinde çalışan modeller için popüler oldu.

AWQ ne demek?

AWQ'nun çıkış noktası basit bir gözlemdir: Bir modeldeki ağırlıkların hepsi eşit derecede önemli değildir. Küçük bir bölümü model kalitesi için kritik rol oynar. Bu "önemli" ağırlıkları bulmanın yolu, ağırlıkların kendisine değil, onlarla çarpılan aktivasyonların büyüklüğüne bakmaktır. Büyük aktivasyonlarla çalışan kanallar, yuvarlama hatasını daha çok büyütür.

Nasıl çalışır?

  1. Küçük bir kalibrasyon verisi modelden geçirilir ve kanalların aktivasyon büyüklükleri ölçülür.
  2. Önemli kanallar belirlenir.
  3. Bu kanalların ağırlıkları niceleme öncesinde bir katsayıyla büyütülür, karşılık gelen girdiler aynı oranda küçültülür. Böylece matematiksel sonuç değişmez ama önemli ağırlıklar yuvarlamadan daha az etkilenir.
  4. Ardından tüm ağırlıklar aynı düşük bit biçimine nicelenir.

Bu yaklaşım, bazı ağırlıkları yüksek hassasiyette ayrıca tutmayı gerektirmediği için donanım dostudur ve geri yayılım ya da yeniden eğitim istemez.

Nelere dikkat etmeli?

AWQ yalnızca ağırlıkları sıkıştırır. Kalite, bit sayısına ve kalibrasyon verisinin uygunluğuna bağlıdır. GPTQ gibi diğer yöntemlerle hangisinin daha iyi sonuç vereceği modele ve göreve göre değişir; sonucu kendi testlerinle doğrulaman gerekir.

Sıkça Sorulan Sorular

AWQ ne işe yarar?

Büyük dil modellerini daha az bellekle çalıştırmayı sağlar. 4 bitlik bir AWQ modeli, 16 bitlik sürüme göre kabaca dörtte bir yer kaplar ve kalite kaybını sınırlamayı hedefler.

AWQ eğitim gerektirir mi?

Hayır. Küçük bir kalibrasyon veri setiyle aktivasyonlar ölçülür ve ağırlıklar dönüştürülür; geri yayılım ya da ince ayar yapılmaz.

İlgili terimler

GPTQGPTQ, eğitilmiş büyük dil modellerinin ağırlıklarını yeniden eğitim gerektirmeden 4 bit gibi düşük bit sayılarına sıkıştıran, katman katman çalışan ve oluşan hatayı en aza indirmeye odaklanan bir eğitim sonrası niceleme yöntemidir.Niceleme(Quantization)Niceleme (quantization), bir yapay zekâ modelinin ağırlıklarını 16 bit yerine 8 ya da 4 bit gibi daha düşük hassasiyetle saklayarak model dosyasını küçültme yöntemidir. Böylece model daha az bellekle çalışır; karşılığında kalitede genellikle küçük bir kayıp olur.Yerel LLM(Local LLM)Yerel LLM, internetteki bir servis yerine kişinin kendi bilgisayarında, sunucusunda ya da cihazında çalıştırılan büyük dil modelidir. Veriler cihazdan çıkmadığı için gizlilik avantajı sağlar ama yeterli donanım gerektirir.GGUFGGUF, büyük dil modellerinin ağırlıklarını, tokenizer bilgisini ve diğer meta verilerini tek bir dosyada saklayan model dosya formatıdır. llama.cpp projesi tarafından 2023'te eski GGML formatının yerine geliştirilmiştir ve yerel model çalıştırmada yaygındır.Ağırlık(Weight)Ağırlık (weight), yapay sinir ağlarında ve diğer makine öğrenmesi modellerinde her girdinin ya da bağlantının çıktıya ne kadar katkı yapacağını belirleyen ve eğitim sırasında veriden öğrenilen sayısal parametredir.Geri Yayılım(Backpropagation)Geri yayılım, bir sinir ağının çıktısındaki hatanın, zincir kuralı kullanılarak katmanlar boyunca geriye doğru dağıtılması ve her ağırlığın hataya katkısının (gradyanının) verimli biçimde hesaplanması yöntemidir.