İçeriğe geç
parazade
Yapay Zeka

Hız Sınırı Nedir?

İngilizce: Rate Limit

Yayın: · Son güncelleme:

Hız Sınırı Nedir? Kısaca

Hız sınırı (rate limit), bir API'ye belirli bir zaman diliminde gönderilebilecek istek ya da işlenebilecek token miktarına konan üst sınırdır. Sınır aşıldığında sunucu yeni istekleri geçici olarak reddeder.

Hız Sınırı nedir?
İçindekiler
  1. Hız sınırı nedir?
  2. Sınır aşılınca ne olur?
  3. Nasıl yönetilir?

Hız sınırı, yapay zekâ servislerinden çok daha eskidir; hemen her web servisinde bulunur. Ancak büyük dil modelleri pahalı donanımda çalıştığı için bu servislerde özellikle önemlidir.

Hız sınırı nedir?

Bir servis sağlayıcı, sistemini aşırı yükten korumak ve kaynakları kullanıcılar arasında adil paylaştırmak için kullanımı sınırlar. Yapay zekâ API'lerinde sınırlar genellikle birkaç ölçüye göre konur:

  • Dakika başına istek sayısı: Kaç ayrı çağrı yapabileceğin.
  • Dakika başına token sayısı: Girdi ve çıktıda toplam kaç token işleyebileceğin.
  • Günlük ya da aylık kota: Daha uzun dönemli toplam kullanım.

Sınırların değerleri sağlayıcıya, hesap türüne ve modele göre değişir; güncel değerleri sağlayıcının belgelerinden kontrol etmelisin.

Sınır aşılınca ne olur?

Sunucu isteği işlemez ve genellikle HTTP 429 ("Too Many Requests") koduyla yanıt verir. Yanıtta çoğu zaman ne kadar beklenmesi gerektiğini belirten bilgi de bulunur.

Nasıl yönetilir?

  • Üstel geri çekilme: Hata alındığında beklemeyi her denemede artırarak yeniden dene.
  • Kuyruk kullan: İstekleri biriktirip kontrollü bir hızda gönder.
  • Gereksiz tokenleri azalt: Uzun sohbet geçmişini özetlemek token tüketimini düşürür.
  • Önbellek: Aynı soruya verilen cevabı yeniden kullanmak istek sayısını azaltır.

Hız sınırı bir hata değil, servis kuralıdır. Uygulamanı bu sınırları hesaba katarak tasarlamak, kullanıcıların beklenmedik kesintiler yaşamasını önler.

Sıkça Sorulan Sorular

429 hatası ne anlama gelir?

HTTP 429, kısa sürede çok fazla istek gönderildiğini ve hız sınırının aşıldığını gösterir. Bir süre bekleyip isteği yeniden göndermek gerekir.

Hız sınırı neden uygulanır?

Sunucuları aşırı yükten korumak, kötüye kullanımı sınırlamak ve kaynakları kullanıcılar arasında adil paylaştırmak için uygulanır.

İlgili terimler

API(Application Programming Interface)API (Application Programming Interface, uygulama programlama arayüzü), farklı yazılımların önceden tanımlanmış kurallarla birbirine istek gönderip cevap almasını sağlayan arayüzdür. Yapay zekâ modelleri de çoğu zaman API üzerinden kullanılır.TokenToken, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası ya da bir noktalama işareti olabilir. Modellerin hızı, bağlam penceresi ve kullanım ücretleri genellikle token sayısıyla ölçülür.Verim(Throughput)Verim (throughput), bir sistemin birim zamanda işleyebildiği iş miktarıdır. Yapay zekâda genellikle saniyede üretilen token sayısı ya da saniyede tamamlanan istek sayısıyla ölçülür ve sistemin kapasitesini gösterir.Gecikme Süresi(Latency)Gecikme süresi (latency), bir sisteme istek gönderilmesiyle cevabın alınmaya başlanması ya da tamamlanması arasında geçen süredir. Yapay zekâda kullanıcı deneyimini, sesli asistanları ve gerçek zamanlı uygulamaları doğrudan etkiler.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.Dil Tespiti(Language Detection)Dil tespiti (language detection), bir metnin ya da ses kaydının hangi dilde olduğunu otomatik olarak belirleyen doğal dil işleme görevidir. Çeviri, arama motorları ve içerik moderasyonu gibi pek çok sistemin ilk adımıdır.