Paralel Hesaplama Nedir?
İngilizce: Parallel Computing
Yayın: · Son güncelleme:
Paralel Hesaplama Nedir? Kısaca
Paralel hesaplama, büyük bir hesaplama işini daha küçük parçalara bölerek bu parçaların birden fazla işlemci, çekirdek ya da makinede aynı anda yürütülmesidir; böylece işlem süresi kısalır ve tek işlemcinin çözemeyeceği büyüklükteki problemler ele alınabilir.
Paralel hesaplama, bir işi sırayla yapmak yerine aynı anda birden fazla işlem birimine dağıtmaktır. Bir evi tek bir işçinin boyaması yerine dört işçinin her birine bir oda vermek gibi düşünebilirsin.
Paralel hesaplama nedir?
Modern bilgisayarların çoğu zaten paraleldir: Telefonlarda bile çok çekirdekli işlemciler bulunur. GPU'lar ise binlerce küçük çekirdeğiyle aynı işlemi çok sayıda veri üzerinde eş zamanlı yapmak için tasarlanmıştır. Paralel hesaplamanın başlıca türleri şunlardır:
- Veri paralelliği: Aynı işlem verinin farklı parçalarına uygulanır. Örneğin bir görüntünün her pikseline aynı filtre uygulanması.
- Görev paralelliği: Farklı görevler aynı anda farklı işlemcilerde yürütülür.
- Dağıtık hesaplama: İş, ağ üzerinden birbirine bağlı birçok makineye dağıtılır.
Yapay zekâda paralellik
Büyük modellerin eğitiminde:
- Veri paralelliği: Her GPU modelin bir kopyasını tutar ve farklı veri parçalarıyla çalışır; gradyanlar sonra birleştirilir.
- Model paralelliği: Model tek bir cihaza sığmadığında katmanları veya matrisleri cihazlar arasında bölünür.
Amdahl yasası
Her iş paralelleştirilemez. Amdahl yasasına göre bir programın paralelleştirilemeyen kısmı, toplam hızlanmanın üst sınırını belirler. Varsayımsal bir örnek: Bir işin %90'ı paralel, %10'u sıralı ise, işlemci sayısı ne kadar artarsa artsın iş en fazla 10 kat hızlanabilir.
Hızlanma ≈ 1 / ((1 − p) + p / n)
Burada p paralel kısmın oranı, n işlemci sayısıdır.
Paralel programlamada iletişim maliyeti, iş yükünün dengesiz dağılması ve aynı veriye eş zamanlı erişimden doğan hatalar en sık karşılaşılan sorunlardır. Bu nedenle daha fazla işlemci her zaman daha hızlı sonuç anlamına gelmez.
Sıkça Sorulan Sorular
Paralel hesaplama ile dağıtık hesaplama arasındaki fark nedir?
Paralel hesaplama, işin aynı anda birden çok işlem biriminde yürütülmesini anlatan genel bir kavramdır. Dağıtık hesaplama ise bu işlem birimlerinin ağ ile bağlı ayrı makinelerde olduğu özel bir durumdur.
GPU'lar neden paralel hesaplamada bu kadar iyi?
GPU'lar aynı işlemi çok sayıda veri üzerinde eş zamanlı yapmak üzere tasarlanmış binlerce basit çekirdek içerir. Yapay zekâdaki matris çarpımları bu yapıya çok uygun olduğu için GPU'lar eğitimi ve çıkarımı büyük ölçüde hızlandırır.