İçeriğe geç
parazade
Yapay Zeka

t-SNE Nedir?

Yayın: · Son güncelleme:

t-SNE Nedir? Kısaca

t-SNE (t-distributed Stochastic Neighbor Embedding), yüksek boyutlu verideki noktaları, birbirine benzeyenler yakın kalacak şekilde iki ya da üç boyutlu bir haritaya yerleştiren, özellikle görselleştirme için kullanılan doğrusal olmayan bir boyut indirgeme yöntemidir.

t-SNE nedir?
İçindekiler
  1. t-SNE nedir?
  2. Nerede kullanılır?
  3. Nelere dikkat etmeli?

t-SNE, açılımıyla "t-dağılımlı stokastik komşu gömme", çok boyutlu verileri insan gözünün anlayabileceği 2 ya da 3 boyutlu grafiklere dönüştürmek için geliştirilmiş bir yöntemdir. Laurens van der Maaten ve Geoffrey Hinton tarafından 2008'de tanıtılmıştır.

t-SNE nedir?

t-SNE'nin amacı, orijinal uzayda birbirine yakın olan noktaları haritada da yakın göstermektir. Yöntem iki adımda düşünülebilir:

  1. Yüksek boyutlu uzayda her nokta çifti için "komşu olma olasılığı" hesaplanır. Yakın noktaların olasılığı yüksektir.
  2. Düşük boyutlu haritada da benzer olasılıklar tanımlanır ve noktalar, iki olasılık dağılımı birbirine olabildiğince benzeyene kadar adım adım kaydırılır.

Haritada Student t-dağılımı kullanılması, kümelerin birbirine yığılmasını önler ve ayrık grupların daha net görünmesini sağlar.

Nerede kullanılır?

  • El yazısı rakamlar ya da görüntüler gibi verilerde benzer örneklerin kümelenip kümelenmediğini görmek.
  • Embedding vektörlerini görselleştirip modelin neyi neye benzer bulduğunu incelemek.
  • Biyolojide hücre verilerini keşfetmek.

Nelere dikkat etmeli?

  • Mesafeler yanıltıcıdır: Kümeler arası uzaklık ve kümelerin büyüklüğü çoğu zaman anlam taşımaz; yalnızca yakın komşuluklar güvenilirdir.
  • Perplexity ayarı: Bu parametre, her noktanın kaç komşuyu dikkate alacağını kabaca belirler. Farklı değerler çok farklı görüntüler üretebilir.
  • Rastgelelik: Her çalıştırmada farklı bir harita çıkabilir.
  • Yavaşlık: Çok büyük veri setlerinde hesaplama uzun sürer.
  • Model girdisi değildir: t-SNE yeni noktaları kolayca haritaya ekleyemez; bu yüzden daha çok keşif ve görselleştirme içindir. Daha hızlı bir alternatif olarak UMAP sık kullanılır.

Sıkça Sorulan Sorular

t-SNE grafiğindeki kümeler gerçek mi?

Çoğu zaman verideki gerçek benzerlikleri yansıtır, ancak parametrelere göre yapay görünümler de oluşabilir. Sonuçları farklı ayarlarla tekrar çalıştırıp başka yöntemlerle doğrulamak gerekir.

t-SNE ile PCA arasındaki fark nedir?

PCA doğrusal ve hızlıdır, verinin genel yayılımını korur. t-SNE doğrusal değildir, yerel komşulukları korumaya odaklanır ve genellikle görselleştirmede daha ayrık kümeler gösterir.

İlgili terimler

UMAPUMAP (Uniform Manifold Approximation and Projection), yüksek boyutlu verideki komşuluk yapısını bir graf olarak modelleyip bunu düşük boyutta mümkün olduğunca koruyan, görselleştirme ve ön işleme için kullanılan doğrusal olmayan bir boyut indirgeme yöntemidir.Boyut İndirgeme(Dimensionality Reduction)Boyut indirgeme, çok sayıda özellik içeren bir veri setini, verideki önemli bilgiyi mümkün olduğunca koruyarak daha az sayıda değişkenle temsil etme işlemidir; görselleştirme, hız ve aşırı öğrenmeyi azaltma amacıyla kullanılır.Temel Bileşenler Analizi(Principal Component Analysis)Temel bileşenler analizi (PCA), birbiriyle ilişkili çok sayıda değişkeni, verideki varyansı en çok koruyan ve birbirinden bağımsız (dik) yeni değişkenlere, yani temel bileşenlere dönüştüren doğrusal bir boyut indirgeme yöntemidir.EmbeddingEmbedding, bir kelimenin, cümlenin, belgenin ya da görselin anlamını sayılardan oluşan bir vektörle temsil etme yöntemidir. Anlamca birbirine yakın içeriklerin vektörleri de birbirine yakın olduğu için anlamsal arama ve RAG sistemlerinin temelini oluşturur.PerplexityPerplexity (şaşkınlık), bir dil modelinin bir metni ne kadar iyi tahmin ettiğini ölçen metriktir. Değer düştükçe model metni daha az "şaşırarak", yani daha yüksek olasılıkla tahmin ediyor demektir.Büyük Veri(Big Data)Büyük veri (big data), geleneksel veritabanı ve analiz araçlarıyla makul sürede saklanamayacak ya da işlenemeyecek kadar büyük, hızlı üretilen ve çeşitli biçimlerdeki veri kümelerini ifade eder. Genellikle hacim, hız ve çeşitlilik özellikleriyle tanımlanır.