İçeriğe geç
parazade
Yapay Zeka

RoPE Ne Demek?

İngilizce: Rotary Positional Embedding

Yayın: · Son güncelleme:

RoPE Ne Demek? Kısaca

RoPE (Rotary Positional Embedding, döner konum kodlaması), Transformer modellerinde token'ların sırasını, sorgu ve anahtar vektörlerini konuma bağlı bir açıyla döndürerek kodlayan yöntemdir. Böylece dikkat hesabı token'lar arasındaki göreli mesafeyi doğal olarak hesaba katar.

RoPE nedir?
İçindekiler
  1. RoPE ne demek?
  2. Neden konum kodlamasına ihtiyaç var?
  3. Nasıl çalışır?
  4. Avantajları ve dikkat edilecek noktalar

RoPE ne demek?

RoPE, İngilizce Rotary Positional Embedding ifadesinin kısaltmasıdır; Türkçede "döner konum kodlaması" ya da "döner konum gömmesi" olarak çevrilebilir. Jianlin Su ve arkadaşlarının 2021'de RoFormer çalışmasında önerdiği bir konum kodlama yöntemidir. Bugün birçok açık ağırlıklı büyük dil modelinde standart seçeneklerden biridir.

Neden konum kodlamasına ihtiyaç var?

Öz dikkat mekanizması token'ları sıralarına bakmadan işler. "Kedi köpeği kovaladı" ile "Köpek kediyi kovaladı" cümlelerini ayırt edebilmek için modele her token'ın konumunu ayrıca bildirmek gerekir. İlk Transformer, embedding'lere sabit sinüs dalgalarından oluşan konum vektörleri ekliyordu.

Nasıl çalışır?

RoPE konum bilgisini toplamak yerine bir döndürme işlemiyle verir:

  • Sorgu ve anahtar vektörleri ikişerli boyut çiftlerine ayrılır.
  • Her çift, iki boyutlu bir düzlemde bir nokta gibi düşünülür ve token'ın konumuyla orantılı bir açıyla döndürülür.
  • Farklı boyut çiftleri farklı hızlarda döner; bazıları yakın, bazıları uzak mesafelere duyarlı olur.

İki vektörün nokta çarpımı yalnızca aralarındaki açı farkına bağlı olduğu için, döndürülmüş sorgu ile anahtarın çarpımı token'ların mutlak konumuna değil, aralarındaki göreli uzaklığa bağlı hâle gelir.

Avantajları ve dikkat edilecek noktalar

  • Göreli konum bilgisini ek parametre gerektirmeden sağlar.
  • Hesaplaması basittir ve dikkat katmanına kolayca eklenir.
  • Uzak token'lar arasındaki etkileşim mesafeyle kademeli olarak zayıflama eğilimindedir.

Model, eğitimde gördüğünden çok daha uzun dizilerle karşılaştığında RoPE tek başına iyi genelleşmeyebilir. Bu yüzden bağlam penceresini genişletmek için konum enterpolasyonu gibi ölçekleme teknikleri geliştirilmiştir.

Sıkça Sorulan Sorular

RoPE neden büyük dil modellerinde tercih ediliyor?

Göreli konum bilgisini ek parametre olmadan ve verimli biçimde sağlar. Ayrıca ölçekleme teknikleriyle bağlam penceresini genişletmeye görece uygundur.

RoPE embedding'e mi uygulanır, dikkat katmanına mı?

RoPE giriş embedding'lerine eklenmez; her dikkat katmanında sorgu ve anahtar vektörlerine döndürme olarak uygulanır. Değer vektörleri ise döndürülmez.

İlgili terimler

Öz Dikkat(Self-Attention)Öz dikkat (self-attention), bir dizideki her öğenin aynı dizideki diğer tüm öğelere ne kadar dikkat etmesi gerektiğini hesaplayan mekanizmadır. Her kelimenin anlamını bağlamdaki diğer kelimelere göre yeniden şekillendirir ve Transformer mimarisinin temelini oluşturur.TransformerTransformer, metin gibi sıralı verileri dikkat mekanizmasıyla paralel işleyen ve büyük dil modellerinin çoğunun temelini oluşturan bir sinir ağı mimarisidir.Bağlam Penceresi(Context Window)Bağlam penceresi (context window), bir dil modelinin tek seferde dikkate alabildiği en fazla metin miktarıdır ve token cinsinden ölçülür. Konuşma geçmişi, yüklenen belgeler ve modelin cevabı bu sınırın içine sığmak zorundadır.EmbeddingEmbedding, bir kelimenin, cümlenin, belgenin ya da görselin anlamını sayılardan oluşan bir vektörle temsil etme yöntemidir. Anlamca birbirine yakın içeriklerin vektörleri de birbirine yakın olduğu için anlamsal arama ve RAG sistemlerinin temelini oluşturur.Büyük Dil Modeli(Large Language Model)Büyük dil modeli (LLM), çok büyük miktarda metinle eğitilen ve bir metnin devamında hangi parçanın geleceğini tahmin ederek yazı üreten yapay zekâ modelidir. Sohbet asistanları, kod yardımcıları ve özetleme araçlarının temelinde bu modeller bulunur.TokenToken, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası ya da bir noktalama işareti olabilir. Modellerin hızı, bağlam penceresi ve kullanım ücretleri genellikle token sayısıyla ölçülür.