HBM Nedir?

HBM, yapay zekâ hızlandırıcıları ve yüksek performanslı GPU'larda kullanılan özel bir bellek türüdür. Temel amacı, işlemcinin veriyi beklemeden çalışabilmesi için bellekten saniyede çok büyük miktarda veri aktarmaktır.

HBM nedir?

Klasik ekran kartı belleklerinde bellek çipleri kart üzerinde işlemcinin etrafına dağıtılır ve görece dar veri yollarıyla bağlanır. HBM'de ise:

• Birden fazla DRAM katmanı dikey olarak üst üste yığılır.
• Katmanlar, silikonun içinden geçen dikey bağlantılarla (TSV) birbirine bağlanır.
• Bellek yığınları, işlemciyle aynı paket içinde ve ona çok yakın konumlandırılır.
• Çok sayıda paralel bağlantıdan oluşan geniş bir veri yolu kullanılır.

Bu tasarım, daha düşük saat hızıyla bile çok yüksek toplam bellek bant genişliği sağlar ve veri başına harcanan enerjiyi azaltır. Teknoloji, birbirini izleyen nesillerle (HBM2, HBM3 ve sonrası) geliştirilmeye devam etmektedir.

Yapay zekâ için neden önemli?

Büyük dil modelleri milyarlarca parametreye sahiptir. Metin üretirken her yeni token için bu ağırlıkların büyük kısmının bellekten okunması gerekir. Bu aşamada sınırlayıcı etken çoğu zaman işlem gücü değil, verinin bellekten ne kadar hızlı geldiğidir. Bu duruma "bellek duvarı" da denir.

HBM bu darboğazı hafifletir. Bu yüzden veri merkezlerindeki yapay zekâ hızlandırıcılarında yaygın olarak tercih edilir. Bir hızlandırıcıdaki HBM kapasitesi, aynı zamanda tek çipe sığabilecek model boyutunu da belirler; bu kapasite, tüketici kartlarında genellikle VRAM olarak anılan bellekle aynı rolü üstlenir.

Nelere dikkat etmeli?

HBM üretimi karmaşıktır ve klasik belleklere göre daha maliyetlidir. Üretim kapasitesi sınırlı olduğu için yapay zekâ çiplerinin tedarikinde belirleyici bir faktör hâline gelmiştir. Tüketici ürünlerinde bu nedenle daha az görülür.