Maksimum Token Nedir?

Maksimum token, özellikle yapay zekâ modellerini bir API üzerinden kullananların sık karşılaştığı bir parametredir. Modelin ne kadar uzun konuşabileceğine bir tavan koyar.

Maksimum token nedir?

Dil modelleri metni kelime kelime değil, token adı verilen parçalar hâlinde üretir. Bir token bazen tam bir kelime, bazen kelimenin bir parçası, bazen de bir noktalama işaretidir. Türkçe gibi eklemeli dillerde bir kelime çoğu zaman birden fazla token tutar.

Maksimum token ayarı, modelin üreteceği çıktı tokenlerinin üst sınırıdır. Örneğin bu değeri 300 yaparsan model en fazla 300 token yazar; cevabı bitmemiş olsa bile orada kesilir.

Bağlam penceresiyle ilişkisi

Modelin bir seferde işleyebileceği toplam token miktarı bağlam penceresi ile sınırlıdır. Girdi (soru, belgeler, sohbet geçmişi) ve çıktı aynı pencereyi paylaşır. Bu nedenle çok uzun bir girdi verdiğinde, maksimum token ayarı yüksek olsa bile çıktı için kalan alan daralabilir.

Nelere dikkat etmeli?

• Çok düşük değer: Yanıtlar yarım kalır. API yanıtında genellikle durma nedeninin "uzunluk sınırı" olduğu belirtilir; bunu kontrol et.
• Çok yüksek değer: Gereksiz uzun yanıtlar daha fazla süre ve, ücretli kullanımda, daha fazla maliyet demektir.
• Akıl yürütme yapan modeller: Bazı modellerde düşünme adımları da çıktı tokeni sayılır; sınırı buna göre belirlemek gerekir.
• Uzunluk talimatı: Kısa yanıt istiyorsan bunu prompt içinde de belirt; maksimum token yalnızca bir kesme sınırıdır, modeli kısa ve derli toplu yazmaya yönlendirmez.