FP16 Nedir?
Yayın: · Son güncelleme:
FP16 Nedir? Kısaca
FP16 (yarım hassasiyet), sayıları 16 bit ile saklayan kayan noktalı sayı biçimidir. Yapay zekâda model ağırlıklarını ve hesaplamaları 32 bitlik biçime göre yarı bellekle ve genellikle daha hızlı işlemek için kullanılır.
FP16, "16-bit floating point" ifadesinin kısaltmasıdır ve IEEE 754 standardında "half precision" olarak tanımlanır. Bilgisayarların ondalıklı sayıları temsil etme yollarından biridir.
FP16 nedir?
Kayan noktalı bir sayı üç parçadan oluşur: işaret, üs ve kesir (mantis). FP16'da bu 16 bit şöyle dağılır:
| Parça | Bit |
|---|---|
| İşaret | 1 |
| Üs | 5 |
| Kesir | 10 |
Üs için yalnızca 5 bit ayrıldığından temsil edilebilen en büyük değer yaklaşık 65.504'tür. Çok küçük sayılar ise sıfıra yuvarlanabilir.
Yapay zekâda neden kullanılır?
32 bitlik FP32 yerine FP16 kullanmak, bir modelin bellekte kapladığı alanı yarıya indirir. Örneğin varsayımsal 7 milyar parametreli bir model FP32'de yaklaşık 28 GB, FP16'da yaklaşık 14 GB yer tutar. Modern ekran kartları FP16 işlemlerini genellikle FP32'den çok daha hızlı yapar.
Eğitimde sık kullanılan "karma hassasiyet" yaklaşımında hesaplamalar FP16'da, ağırlıkların ana kopyası FP32'de tutulur.
Nelere dikkat etmeli?
FP16'nın dar aralığı, eğitim sırasında taşma (çok büyük değerlerin sonsuza gitmesi) ya da alttan taşma (küçük gradyanların sıfırlanması) sorunlarına yol açabilir. Bunu önlemek için "kayıp ölçekleme" kullanılır. Bu nedenle büyük modellerin eğitiminde daha geniş aralıklı BF16 biçimi çoğu zaman tercih edilir.
Sıkça Sorulan Sorular
FP16 ile FP32 arasındaki fark nedir?
FP32 her sayı için 32 bit, FP16 ise 16 bit kullanır. FP16 yarı bellek ister ve daha hızlıdır, ancak hem hassasiyeti hem de temsil edebildiği sayı aralığı daha dardır.
FP16 niceleme sayılır mı?
Geniş anlamda daha düşük hassasiyete geçiş olsa da genellikle niceleme denince 8 bit ve altındaki tam sayı ya da özel biçimler kastedilir. FP16, büyük modellerin yayımlandığı yaygın temel biçimlerden biridir.
İlgili terimler
İlgili yazılar
Kendi Bilgisayarında Ücretsiz Yapay Zekâ Sistemi Kur: Ekran Kartı, İşlemci ve RAM ile Adım Adım
Kendi bilgisayarında ücretsiz ve limitsiz bir yapay zekâ sistemi kurmak mümkün: Ollama ya da LM Studio ile dil modeli, Continue ile kod asistanı, ComfyUI ya da Forge ile görsel üretim. Belirleyici olan ekran kartının belleğidir (VRAM); 8 GB'lık kartta 7-8B modeller rahat çalışır, kart yoksa işlemci ve RAM ile daha yavaş çalışır.