Bellek Bant Genişliği Nedir?
İngilizce: Memory Bandwidth
Yayın: · Son güncelleme:
Bellek Bant Genişliği Nedir? Kısaca
Bellek bant genişliği, bir bellek biriminin işlemciye veya grafik işlemcisine birim zamanda aktarabildiği veri miktarıdır; genellikle GB/s veya TB/s ile ölçülür ve büyük yapay zekâ modellerinin ne kadar hızlı çalışacağını belirleyen temel etkenlerden biridir.
Bellek bant genişliği, verinin bellekten hesaplama birimlerine ne kadar hızlı taşınabildiğini gösterir. Bir otoyolun şerit sayısı gibi düşünebilirsin: Şerit ne kadar çoksa aynı sürede o kadar fazla araç geçer.
Bellek bant genişliği nedir?
Bilgisayarda işlemci ya da GPU hesap yapabilmek için veriyi bellekten okumak zorundadır. Bant genişliği, saniyede aktarılabilen veri miktarını ifade eder ve gigabayt/saniye (GB/s) ya da terabayt/saniye (TB/s) ile ölçülür. Kabaca şu etkenlere bağlıdır:
- Bellek veri yolunun genişliği (bit sayısı)
- Belleğin çalışma frekansı ve veri aktarım hızı
- Bellek kanalı sayısı
Grafik kartlarında GDDR türü bellekler, yapay zekâ hızlandırıcılarında ise işlemciye çok yakın konumlanan ve geniş veri yolu sunan HBM yaygındır.
Yapay zekâda neden önemli?
Büyük dil modelleri metin üretirken her yeni token için modelin ağırlıklarının büyük bölümünü bellekten okur. Bu aşamada çoğu zaman sınırlayıcı olan hesaplama gücü değil, verinin ne kadar hızlı taşındığıdır; buna "bellek sınırlı" çalışma denir.
Varsayımsal bir örnek: Ağırlıkları 14 GB yer kaplayan bir model, 1 TB/s bant genişliğine sahip bir GPU'da çalışıyorsa, tek kullanıcı için kabaca saniyede en fazla 1000 / 14 ≈ 70 token üretebilir. Gerçek değer yazılım ve donanıma göre daha düşük olabilir, ama bu hesap bant genişliğinin üst sınırı nasıl belirlediğini gösterir.
Nelere dikkat etmeli?
- Yüksek hesaplama gücü (FLOPS) tek başına hızlı çıkarım anlamına gelmez; bant genişliğine de bakmak gerekir.
- Niceleme ile model küçültüldüğünde okunacak veri azalır ve üretim hızı genellikle artar.
- Eğitim, toplu çıkarım ve tek kullanıcılı sohbet gibi senaryolarda darboğaz farklı olabilir.
Sıkça Sorulan Sorular
Bellek bant genişliği ile bellek kapasitesi aynı şey mi?
Hayır. Kapasite belleğe ne kadar veri sığdığını, bant genişliği ise bu verinin saniyede ne kadarının taşınabildiğini gösterir. Bir model belleğe sığsa bile bant genişliği düşükse yavaş çalışabilir.
Dil modelleri neden bellek bant genişliğine bu kadar bağlı?
Metin üretiminde her yeni token için modelin ağırlıklarının büyük kısmı bellekten okunur. Tek kullanıcılı üretimde yapılan hesap, okunan veri miktarına göre azdır; bu yüzden hız çoğunlukla verinin ne kadar hızlı taşındığıyla sınırlanır.