Gecikme Süresi (Latency) Nedir?
İngilizce: Latency
Yayın: · Son güncelleme:
Gecikme Süresi (Latency) Nedir? Kısaca
Gecikme süresi (latency), bir sisteme istek gönderilmesiyle cevabın alınmaya başlanması ya da tamamlanması arasında geçen süredir. Yapay zekâda kullanıcı deneyimini, sesli asistanları ve gerçek zamanlı uygulamaları doğrudan etkiler.
Gecikme süresi, "ne kadar beklemem gerekiyor?" sorusunun teknik karşılığıdır. Bir sohbet botuna soru sorduğunda cevabın ilk kelimesi bir saniyede de gelebilir, on saniyede de. Bu bekleme, kullanıcının sistemi hızlı ya da yavaş algılamasını belirler.
Yapay zekâda gecikme nasıl ölçülür?
Dil modellerinde genellikle şu ölçüler kullanılır:
- İlk token'a kadar geçen süre (TTFT): İsteği gönderdikten sonra ilk kelime parçasının gelme süresi. Akış (streaming) kullanan sohbetlerde algılanan hızı belirler.
- Token başına süre / saniyede token: Cevabın ne hızla aktığını gösterir.
- Toplam süre: Cevabın tamamlanmasına kadar geçen zaman.
Gecikme ile "verim" (throughput) karıştırılmamalıdır: Verim, sistemin birim zamanda toplam kaç isteği işleyebildiğidir.
Neler etkiler?
- Modelin büyüklüğü ve mimarisi
- Girdi ve çıktı uzunluğu; uzun prompt ve uzun cevap daha fazla süre demektir
- Donanım (GPU türü, bellek)
- Sunucunun o anki yoğunluğu
- Ağ bağlantısı ve sunucuya olan fiziksel uzaklık
- Akıl yürütme modlarında, cevaptan önce üretilen ara düşünce adımları
Örnek
Varsayımsal bir sesli müşteri asistanı düşün. Kullanıcı konuştuktan sonra cevap birkaç saniye gecikirse konuşma doğal gelmez ve kullanıcı lafı tekrarlar. Bu yüzden sesli uygulamalarda düşük gecikme, yazılı sohbetlere göre daha kritiktir.
Nasıl azaltılır?
- Görev için yeterli olan daha küçük bir model seçmek
- Niceleme gibi yöntemlerle modeli hafifletmek
- Prompt'u gereksiz bilgiden arındırmak ve cevap uzunluğunu sınırlamak
- Cevabı akış hâlinde göstermek
- Tekrarlayan sorgularda önbellek kullanmak
- Uygun durumlarda modeli cihazda çalıştırmak
Gecikmeyi azaltırken kalitenin ne kadar düştüğünü de ölçmek gerekir; en hızlı sistem her zaman en iyi sistem değildir.
Sıkça Sorulan Sorular
Gecikme süresi ile hız aynı şey mi?
Yakın ama aynı değil. Gecikme tek bir isteğin ne kadar beklettiğini, verim ise sistemin aynı anda kaç isteği işleyebildiğini anlatır. Bir sistem yüksek verimli ama tek istek için yavaş olabilir.
Yapay zekâ cevabı neden bazen yavaş gelir?
Sunucu yoğunluğu, uzun prompt veya cevap, büyük model kullanımı ve ağ koşulları gecikmeyi artırabilir. Akıl yürütme özellikli modeller de cevap öncesi ek işlem yaptığı için daha uzun sürebilir.