İçeriğe geç
parazade
Yapay Zeka

Transformer Ne Demek?

Yayın: · Son güncelleme:

Transformer Ne Demek? Kısaca

Transformer, metin gibi sıralı verileri dikkat mekanizmasıyla paralel işleyen ve büyük dil modellerinin çoğunun temelini oluşturan bir sinir ağı mimarisidir.

Transformer nedir?
İçindekiler
  1. Transformer nasıl çalışır?
  2. Neden bu kadar önemli?
  3. Sınırları

Transformer, 2017'de "Attention Is All You Need" başlıklı makaleyle tanıtılan bir sinir ağı mimarisidir. Bugün büyük dil modellerinin çoğu, ayrıca pek çok görüntü ve ses modeli bu mimariye dayanır.

Transformer nasıl çalışır?

Metin önce token adı verilen küçük parçalara bölünür ve her token sayısal bir vektöre çevrilir. Kelimelerin sırası kaybolmasın diye bu vektörlere konum bilgisi eklenir.

Ardından veri, üst üste dizilmiş transformer bloklarından geçer. Her blokta iki temel adım vardır:

  1. Dikkat mekanizması: Her token, cümledeki diğer tüm tokenlere bakar ve hangilerinin kendisi için önemli olduğunu ağırlıklandırır. Örneğin "Ali kitabı masaya koydu, sonra onu okudu" cümlesinde "onu" kelimesi en çok "kitabı" ile ilişkilendirilir.
  2. İleri beslemeli katman: Her tokenin temsili ayrı ayrı işlenip zenginleştirilir.

Dil modelleri bu işlemin sonunda bir sonraki tokenin ne olabileceğine dair olasılıklar üretir ve metni token token yazar.

Neden bu kadar önemli?

Eski tekrarlayan ağlar (RNN, LSTM) metni kelime kelime sırayla işlerdi; bu hem yavaştı hem de uzak kelimeler arasındaki bağı kurmakta zorlanıyordu. Transformer tüm diziyi aynı anda işleyebildiği için GPU'larda verimli eğitilir ve uzun bağlamları daha iyi yakalar.

Sınırları

Standart dikkat hesabının maliyeti, girdi uzunluğu arttıkça hızla büyür. Bu nedenle modellerin bir bağlam penceresi sınırı vardır ve çok uzun metinler daha fazla bellek ve işlem gücü gerektirir.

Sıkça Sorulan Sorular

Transformer sadece dil modellerinde mi kullanılır?

Hayır. Görüntü sınıflandırma, konuşma tanıma, çok modlu modeller ve bazı görsel üretim modelleri de transformer tabanlı yapılar kullanır.

GPT'deki T ne anlama gelir?

GPT, "Generative Pre-trained Transformer" kısaltmasıdır; buradaki T, modelin transformer mimarisine dayandığını belirtir.

İlgili terimler

Dikkat Mekanizması(Attention Mechanism)Dikkat mekanizması, bir sinir ağının girdinin her parçasını işlerken diğer parçalardan hangilerinin daha önemli olduğunu ağırlıklandırarak bilgiyi seçici biçimde birleştirmesini sağlayan yöntemdir.Büyük Dil Modeli(Large Language Model)Büyük dil modeli (LLM), çok büyük miktarda metinle eğitilen ve bir metnin devamında hangi parçanın geleceğini tahmin ederek yazı üreten yapay zekâ modelidir. Sohbet asistanları, kod yardımcıları ve özetleme araçlarının temelinde bu modeller bulunur.TokenToken, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası ya da bir noktalama işareti olabilir. Modellerin hızı, bağlam penceresi ve kullanım ücretleri genellikle token sayısıyla ölçülür.Tekrarlayan Sinir Ağı(Recurrent Neural Network)Tekrarlayan sinir ağı (RNN), metin, ses veya zaman serisi gibi sıralı verileri adım adım işleyen ve önceki adımlardan gelen bilgiyi gizli bir durumda taşıyarak bir tür kısa süreli hafıza kullanan sinir ağı türüdür.LSTM(Long Short-Term Memory)LSTM (uzun kısa süreli bellek), tekrarlayan sinir ağlarının uzun dizilerde bilgiyi unutma sorununu, neyin saklanıp neyin unutulacağına karar veren kapılar ve ayrı bir hücre durumu ile hafifleten sinir ağı yapısıdır.Görüntü Tanıma(Image Recognition)Görüntü tanıma (image recognition), bir yapay zekâ sisteminin fotoğraf ya da videodaki nesneleri, yüzleri, hayvanları, yazıları veya sahneleri tespit edip tanımlamasıdır. Bilgisayarlı görünün temel görevlerinden biridir.