İçeriğe geç
parazade
Yapay Zeka

Niceleme Nedir?

İngilizce: Quantization

Yayın: · Son güncelleme:

Niceleme Nedir? Kısaca

Niceleme (quantization), bir yapay zekâ modelinin ağırlıklarını 16 bit yerine 8 ya da 4 bit gibi daha düşük hassasiyetle saklayarak model dosyasını küçültme yöntemidir. Böylece model daha az bellekle çalışır; karşılığında kalitede genellikle küçük bir kayıp olur.

Niceleme nedir?
İçindekiler
  1. Niceleme nedir?
  2. Neden kullanılır?
  3. Q4, Q5, Q8 ne anlama gelir?
  4. Kaliteye etkisi

Niceleme nedir?

Bir yapay zekâ modeli milyonlarca ya da milyarlarca sayıdan (ağırlıktan) oluşur. Bu sayılar eğitimde genellikle 16 ya da 32 bitlik hassasiyetle tutulur. Niceleme, aynı sayıları daha az bit kullanarak yaklaşık değerlerle saklamaktır. 16 bitten 4 bite inildiğinde her ağırlık kabaca dörtte bir yer kaplar ve model dosyası buna yakın oranda küçülür.

Neden kullanılır?

Nicelemenin asıl amacı, büyük modelleri sınırlı belleğe sahip donanımlarda çalıştırılabilir hâle getirmektir. Örneğin 16 bitlik hâliyle ekran kartının belleğine sığmayan bir model, 4 bitlik sürümüyle sığabilir. Daha küçük dosya ayrıca daha hızlı yüklenir ve bellekten daha hızlı okunur.

Q4, Q5, Q8 ne anlama gelir?

Model dosyalarının adlarında görülen bu ifadeler, ağırlıkların kaç bitle saklandığını gösterir:

İfade Anlamı Genel durum
Q8 Yaklaşık 8 bit Kalite kaybı çok az, dosya büyük
Q5 Yaklaşık 5 bit Kalite ile boyut arasında denge
Q4 Yaklaşık 4 bit Yerel kullanımda en yaygın tercih
Q2-Q3 2-3 bit Dosya çok küçük, kalite kaybı belirgin

Q4_K_M gibi uzun adlar, aynı bit düzeyinin farklı niceleme yöntemlerini ayırt eder. GGUF, nicelenmiş modellerin yerel araçlarda yaygın kullanılan dosya biçimidir.

Kaliteye etkisi

Niceleme düzeyi düştükçe model orijinalinden biraz uzaklaşır. Pek çok kullanıcı için 4 bit, boyut ile kalite arasında makul bir denge sunar; ancak etki modelden modele ve işten işe değişir. Belirli bir iş için en uygun düzeyi bulmanın en güvenilir yolu, aynı soruları farklı sürümlerle deneyip sonuçları karşılaştırmaktır.

Sıkça Sorulan Sorular

Nicelenmiş model daha mı aptal olur?

Genellikle küçük bir kalite kaybı olur. 8 ve 5 bitte fark çoğu işte zor fark edilir; 4 bitte de çoğu kullanım için yeterli kalite korunur. 2-3 bit gibi çok düşük düzeylerde kayıp belirginleşir.

Kendi modelimi nicelendirmem gerekir mi?

Çoğu zaman gerekmez. Ollama ve LM Studio gibi araçlarda popüler modellerin nicelenmiş sürümleri hazır olarak indirilebilir.

İlgili terimler

VRAM(Video RAM)VRAM (Video RAM), ekran kartının üzerinde bulunan ve grafik işlemcisinin doğrudan kullandığı bellektir. Yerel yapay zekâda bir modelin ekran kartında çalışıp çalışamayacağını ve ne kadar hızlı çalışacağını büyük ölçüde VRAM miktarı belirler.Büyük Dil Modeli(Large Language Model)Büyük dil modeli (LLM), çok büyük miktarda metinle eğitilen ve bir metnin devamında hangi parçanın geleceğini tahmin ederek yazı üreten yapay zekâ modelidir. Sohbet asistanları, kod yardımcıları ve özetleme araçlarının temelinde bu modeller bulunur.LoRA(Low-Rank Adaptation)LoRA (Low-Rank Adaptation), büyük bir yapay zekâ modelinin ağırlıklarını değiştirmeden, üzerine eklenen küçük bir dosyayla modele yeni bir tarz, karakter ya da görev öğretme yöntemidir. Tam eğitime göre çok daha az bellek ve süre gerektirir.GGUFGGUF, büyük dil modellerinin ağırlıklarını, tokenizer bilgisini ve diğer meta verilerini tek bir dosyada saklayan model dosya formatıdır. llama.cpp projesi tarafından 2023'te eski GGML formatının yerine geliştirilmiştir ve yerel model çalıştırmada yaygındır.Görüntü Tanıma(Image Recognition)Görüntü tanıma (image recognition), bir yapay zekâ sisteminin fotoğraf ya da videodaki nesneleri, yüzleri, hayvanları, yazıları veya sahneleri tespit edip tanımlamasıdır. Bilgisayarlı görünün temel görevlerinden biridir.Yapay Zekâ Okuryazarlığı(AI Literacy)Yapay zekâ okuryazarlığı (AI literacy), yapay zekânın temel olarak nasıl çalıştığını anlama, araçları amaca uygun ve güvenli biçimde kullanma, çıktılarını eleştirel değerlendirme ve etik riskleri fark etme becerilerinin bütünüdür.