İçeriğe geç
parazade
Yapay Zeka

Verim Ne Demek?

İngilizce: Throughput

Yayın: · Son güncelleme:

Verim Ne Demek? Kısaca

Verim (throughput), bir sistemin birim zamanda işleyebildiği iş miktarıdır. Yapay zekâda genellikle saniyede üretilen token sayısı ya da saniyede tamamlanan istek sayısıyla ölçülür ve sistemin kapasitesini gösterir.

Verim nedir?
İçindekiler
  1. Verim ne demek?
  2. Verim ile gecikme ilişkisi
  3. Verimi ne etkiler?

Verim, gecikme süresiyle birlikte bir yapay zekâ servisinin performansını anlatan iki temel ölçüden biridir. Gecikme tek bir kullanıcının ne kadar beklediğini, verim ise sistemin toplamda ne kadar iş çıkardığını anlatır.

Verim ne demek?

Bir otoyol düşün. Bir aracın A noktasından B noktasına ne kadar sürede gittiği gecikmeye benzer. Bir saatte o yoldan kaç aracın geçtiği ise verimdir. Yol genişledikçe aynı anda daha çok araç geçer, ama her aracın yolculuk süresi kısalmayabilir.

Yapay zekâ çıkarımında verim şu birimlerle ifade edilir:

  • Saniye başına token: Sistemin tüm kullanıcılar için toplamda ürettiği token sayısı.
  • Saniye başına istek: Tamamlanan yanıt sayısı.

Verim ile gecikme ilişkisi

Sunucular verimi artırmak için birden fazla isteği aynı anda işler; buna toplu işleme denir. GPU birçok isteği paralel hesapladığında toplam verim yükselir. Ancak kalabalık bir toplu işlemde tek bir kullanıcının yanıtı biraz gecikebilir. Bu nedenle verim ve gecikme süresi arasında genellikle bir denge kurulur.

Verimi ne etkiler?

  • Modelin boyutu ve kullanılan sayı hassasiyeti (ör. nicelenmiş modeller)
  • Donanımın bellek bant genişliği ve işlem gücü
  • Toplu işleme ve önbellekleme teknikleri
  • Girdi ve çıktı uzunlukları

Bir sistemi değerlendirirken yalnızca tek bir istekteki hıza bakmak yanıltıcı olabilir; gerçek kullanım yükü altında verimi ölçmek gerekir.

Sıkça Sorulan Sorular

Verim nedir, hızla aynı şey mi?

Tam olarak değil. Verim sistemin toplamda birim zamanda ne kadar iş çıkardığını, gecikme ise tek bir isteğin ne kadar sürede tamamlandığını gösterir.

Verim nasıl artırılır?

Toplu işleme, daha verimli donanım, nicelenmiş modeller ve önbellekleme gibi yöntemlerle artırılabilir. Ancak bu yöntemler gecikmeyi de etkileyebileceği için dengeyi ölçmek gerekir.

İlgili terimler

Gecikme Süresi(Latency)Gecikme süresi (latency), bir sisteme istek gönderilmesiyle cevabın alınmaya başlanması ya da tamamlanması arasında geçen süredir. Yapay zekâda kullanıcı deneyimini, sesli asistanları ve gerçek zamanlı uygulamaları doğrudan etkiler.Hız Sınırı(Rate Limit)Hız sınırı (rate limit), bir API'ye belirli bir zaman diliminde gönderilebilecek istek ya da işlenebilecek token miktarına konan üst sınırdır. Sınır aşıldığında sunucu yeni istekleri geçici olarak reddeder.Çıkarım(Inference)Çıkarım (inference), eğitimi tamamlanmış bir yapay zekâ modelinin yeni bir girdiyi alıp tahmin, sınıflandırma veya metin gibi bir çıktı üretmesi; yani modelin fiilen kullanılması aşamasıdır.GPU(Graphics Processing Unit)GPU (Graphics Processing Unit, grafik işlem birimi), çok sayıda basit hesabı aynı anda yapabilen işlemcidir. Başlangıçta oyun ve grafik için geliştirilmiş, paralel hesaplama gücü sayesinde yapay zekâ eğitimi ve çıkarımının temel donanımı olmuştur.TokenToken, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası ya da bir noktalama işareti olabilir. Modellerin hızı, bağlam penceresi ve kullanım ücretleri genellikle token sayısıyla ölçülür.Bellek Bant Genişliği(Memory Bandwidth)Bellek bant genişliği, bir bellek biriminin işlemciye veya grafik işlemcisine birim zamanda aktarabildiği veri miktarıdır; genellikle GB/s veya TB/s ile ölçülür ve büyük yapay zekâ modellerinin ne kadar hızlı çalışacağını belirleyen temel etkenlerden biridir.

İlgili yazılar

E-Ticaret

Trendyol'da Satış Yapmak: Gerekli Belgeler, Başvuru ve Maliyetler

Trendyol'da satış yapmak için şahıs, limited ya da anonim şirketinin, aktif vergi kaydının, fatura kesme altyapının ve şirket adına banka hesabının olması gerekir. Başvuruyu çevrim içi yapar, onay sonrası ürün yüklersin; kârlılık komisyon ve maliyet hesabına bağlıdır.

· 8 dk okuma
Yapay Zeka ile Kazanç

Kendi Bilgisayarında Ücretsiz Yapay Zekâ Sistemi Kur: Ekran Kartı, İşlemci ve RAM ile Adım Adım

Kendi bilgisayarında ücretsiz ve limitsiz bir yapay zekâ sistemi kurmak mümkün: Ollama ya da LM Studio ile dil modeli, Continue ile kod asistanı, ComfyUI ya da Forge ile görsel üretim. Belirleyici olan ekran kartının belleğidir (VRAM); 8 GB'lık kartta 7-8B modeller rahat çalışır, kart yoksa işlemci ve RAM ile daha yavaş çalışır.

· 30 dk okuma