Bağlam Penceresi Nedir?

Bağlam penceresi nedir?

Bir dil modeline gönderilen her şey, yani sistem talimatı, önceki mesajlar, yapıştırılan belgeler ve modelin o an yazdığı cevap, tek bir metin dizisi olarak işlenir. Modelin bu dizinin ne kadarını aynı anda görebildiğini bağlam penceresi belirler. Sınır token sayısıyla ifade edilir; örneğin 8.192 tokenlık bir bağlam penceresi, toplamda bu kadar token tutan bir metne kadar işlem yapılabileceği anlamına gelir.

Pencere dolunca ne olur?

Konuşma uzayıp bağlam penceresini aşınca uygulamaların çoğu en eski mesajları dışarıda bırakır. Model bu kısmı artık göremediği için konuşmanın başında söylenenleri "unutmuş" gibi davranır. Uzun bir belgeyi tek seferde vermeye çalışırken de sınır aşılırsa belgenin bir kısmı modele hiç ulaşmaz.

Bellek kullanımına etkisi

Bağlam penceresi büyüdükçe model, hesaplama sırasında daha fazla ara veri tutmak zorunda kalır. Bu nedenle yerel çalıştırılan modellerde bağlamı yükseltmek, model dosyasının boyutundan bağımsız olarak ek VRAM ya da RAM kullanır. Ollama gibi araçlarda bu ayar num_ctx parametresiyle yapılır; gereğinden büyük bir değer seçmek modelin belleğe sığmamasına yol açabilir.

Bağlam sınırıyla nasıl çalışılır?

• Uzun konuşmalarda konu değiştiğinde yeni bir sohbet başlatmak.
• Çok uzun belgeleri tümüyle vermek yerine RAG yöntemiyle yalnızca ilgili bölümleri modele iletmek.
• Önemli bilgileri ve talimatları kısa ve net tutmak.