VRAM Nedir?

VRAM nedir?

VRAM, ekran kartının (GPU) üzerindeki özel bellektir. Bilgisayarın ana belleğinden (sistem RAM'i) ayrıdır ve grafik işlemcisinin çok yüksek hızda erişebileceği şekilde tasarlanır. Oyunlarda dokular ve görüntü verileri burada tutulur; yapay zekâda ise modelin ağırlıkları ve hesaplama sırasında oluşan ara veriler.

Yapay zekâda neden belirleyicidir?

Bir dil modeli ya da görsel üretim modeli çalışırken modelin tüm ağırlıklarının hızlı erişilebilir bir bellekte durması gerekir. Model VRAM'e tamamen sığarsa hesaplamanın tamamı ekran kartında yapılır ve hızlı sonuç alınır. Sığmazsa bir kısmı sistem RAM'ine taşınır; bu durumda veri sürekli iki bellek arasında taşındığı için hız belirgin biçimde düşer.

Bu yüzden yerel yapay zekâ için ekran kartı seçerken kartın neslinden ya da oyun performansından çok VRAM miktarına bakılır. Daha yeni ama daha az VRAM'li bir kart, daha eski ama daha çok VRAM'li bir kartın açabildiği modeli açamayabilir.

VRAM ihtiyacını ne belirler?

• Model büyüklüğü: Parametre sayısı arttıkça gereken bellek artar.
• Niceleme düzeyi: Ağırlıklar 16 bit yerine 4 bit ile saklanırsa model dosyası kabaca dörtte bire küçülür.
• Bağlam uzunluğu: Model aynı anda daha uzun bir metni dikkate aldıkça ek bellek kullanır.
• Aynı anda çalışan programlar: Bir dil modeli ve bir görsel üretim aracı aynı VRAM'i paylaşır.

VRAM miktarı nasıl öğrenilir?

NVIDIA kartlarda terminalde nvidia-smi komutu toplam ve kullanılan VRAM'i gösterir. Windows'ta Görev Yöneticisi'nin Performans sekmesindeki GPU bölümünde de "Ayrılmış GPU belleği" olarak görülebilir. Apple Silicon işlemcili Mac'lerde ise ayrı bir VRAM yoktur; işlemci ve grafik birimi ortak belleği paylaşır.