İçeriğe geç
parazade
Yapay Zeka

GPTQ Nedir?

Yayın: · Son güncelleme:

GPTQ Nedir? Kısaca

GPTQ, eğitilmiş büyük dil modellerinin ağırlıklarını yeniden eğitim gerektirmeden 4 bit gibi düşük bit sayılarına sıkıştıran, katman katman çalışan ve oluşan hatayı en aza indirmeye odaklanan bir eğitim sonrası niceleme yöntemidir.

GPTQ nedir?
İçindekiler
  1. GPTQ nedir?
  2. Nasıl çalışır?
  3. Ne işe yarar, nelere dikkat etmeli?

GPTQ, 2022'de yayımlanan bir akademik çalışmayla tanıtıldı. Amacı, milyarlarca parametreli modelleri tek bir ekran kartında çalıştırılabilir boyuta indirirken doğruluk kaybını sınırlı tutmaktı.

GPTQ nedir?

GPTQ bir eğitim sonrası niceleme yöntemidir; model eğitildikten sonra uygulanır ve yeniden eğitim gerektirmez. Yalnızca ağırlıkları sıkıştırır; çıkarım sırasında aktivasyonlar genellikle 16 bitlik hassasiyette kalır.

Nasıl çalışır?

  1. Küçük bir kalibrasyon veri seti modelden geçirilir.
  2. Model katman katman ele alınır. Her katmanda ağırlıklar tek tek düşük bit sayısına yuvarlanır.
  3. Bir ağırlık yuvarlandığında oluşan hata, henüz yuvarlanmamış diğer ağırlıklar güncellenerek telafi edilir.
  4. Bu telafi, katmanın çıktısının ne kadar değiştiğini ölçen ikinci dereceden (Hessian tabanlı) bir yaklaşıma dayanır.

Sonuçta her katmanın çıktısı, orijinal modelin çıktısına olabildiğince yakın tutulur.

Ne işe yarar, nelere dikkat etmeli?

4 bitlik bir model, 16 bitlik sürüme göre kabaca dörtte bir bellek kaplar. Bu da yerel LLM çalıştırmayı kolaylaştırır. Ancak:

  • Bit sayısı düştükçe kalite kaybı artabilir.
  • Kalibrasyon verisi kullanım alanına uymuyorsa sonuç zayıflayabilir.
  • GPTQ modelleri belirli çıkarım kütüphaneleri ve donanımlarla uyumludur; farklı biçimlere (ör. GGUF) doğrudan dönüşmez.

Niceleme sonrası modeli kendi görevlerinde test etmek her zaman gerekir.

Sıkça Sorulan Sorular

GPTQ ile AWQ arasındaki fark nedir?

İkisi de ağırlık odaklı eğitim sonrası niceleme yöntemidir. GPTQ yuvarlama hatasını diğer ağırlıkları güncelleyerek telafi eder; AWQ ise aktivasyonlara göre önemli ağırlık kanallarını ölçekleyerek korur.

GPTQ için yeniden eğitim gerekir mi?

Hayır. Yalnızca küçük bir kalibrasyon veri setiyle modelin ağırlıkları dönüştürülür; klasik anlamda eğitim yapılmaz.

İlgili terimler

Niceleme(Quantization)Niceleme (quantization), bir yapay zekâ modelinin ağırlıklarını 16 bit yerine 8 ya da 4 bit gibi daha düşük hassasiyetle saklayarak model dosyasını küçültme yöntemidir. Böylece model daha az bellekle çalışır; karşılığında kalitede genellikle küçük bir kayıp olur.AWQ(Activation-aware Weight Quantization)AWQ (Activation-aware Weight Quantization), büyük dil modellerinin ağırlıklarını 4 bit gibi düşük hassasiyete sıkıştırırken, aktivasyon değerlerine bakarak en önemli ağırlıkları tespit edip ölçekleme yoluyla koruyan bir eğitim sonrası niceleme yöntemidir.GGUFGGUF, büyük dil modellerinin ağırlıklarını, tokenizer bilgisini ve diğer meta verilerini tek bir dosyada saklayan model dosya formatıdır. llama.cpp projesi tarafından 2023'te eski GGML formatının yerine geliştirilmiştir ve yerel model çalıştırmada yaygındır.Yerel LLM(Local LLM)Yerel LLM, internetteki bir servis yerine kişinin kendi bilgisayarında, sunucusunda ya da cihazında çalıştırılan büyük dil modelidir. Veriler cihazdan çıkmadığı için gizlilik avantajı sağlar ama yeterli donanım gerektirir.Veri Seti(Dataset)Veri seti (dataset), belirli bir amaç için toplanmış ve genellikle tablo, görüntü, metin ya da ses gibi ortak bir yapıda düzenlenmiş veri koleksiyonudur. Makine öğrenmesi modelleri veri setleriyle eğitilir ve değerlendirilir.Ağırlık(Weight)Ağırlık (weight), yapay sinir ağlarında ve diğer makine öğrenmesi modellerinde her girdinin ya da bağlantının çıktıya ne kadar katkı yapacağını belirleyen ve eğitim sırasında veriden öğrenilen sayısal parametredir.