İçeriğe geç
parazade
Yapay Zeka

TF-IDF Nedir?

Yayın: · Son güncelleme:

TF-IDF Nedir? Kısaca

TF-IDF (Term Frequency–Inverse Document Frequency), bir kelimenin bir belgedeki önemini; o belgede ne sıklıkla geçtiği ile tüm belge koleksiyonunda ne kadar nadir olduğunu çarparak ölçen bir metin ağırlıklandırma yöntemidir.

TF-IDF nedir?
İçindekiler
  1. TF-IDF nedir?
  2. Nasıl hesaplanır?
  3. Nerelerde kullanılır?
  4. Sınırları

TF-IDF, doğal dil işlemenin en eski ve en yaygın tekniklerinden biridir. Arama, belge sınıflandırma ve anahtar kelime çıkarımı gibi işlerde kullanılır.

TF-IDF nedir?

Yöntem iki parçadan oluşur:

  • TF (terim sıklığı): Kelimenin belgede kaç kez geçtiği. Çok geçen kelime o belgenin konusuyla ilgili olabilir.
  • IDF (ters belge sıklığı): Kelimenin kaç belgede geçtiğinin tersine dayanır. Her belgede geçen "bir", "ve" gibi kelimeler düşük, az belgede geçen özel kelimeler yüksek değer alır.

TF-IDF puanı bu ikisinin çarpımıdır. Yani hem belgede sık geçen hem de genel olarak nadir olan kelimeler en yüksek puanı alır.

Nasıl hesaplanır?

Varsayımsal bir örnek: 1.000 belgelik bir koleksiyonda "temettü" kelimesi 10 belgede geçiyor olsun. IDF genellikle log(1.000 / 10) = log(100) şeklinde hesaplanır. Bu kelime bir belgede 5 kez geçiyorsa, TF-IDF puanı kabaca 5 × log(100) olur. "ve" kelimesi 1.000 belgenin hepsinde geçiyorsa IDF değeri log(1) = 0 olur ve kelimenin puanı sıfırlanır.

Pratikte farklı normalleştirme ve yumuşatma varyantları kullanılır.

Nerelerde kullanılır?

  • Belgeleri vektörlere çevirip kosinüs benzerliği ile karşılaştırmak
  • Bir metnin anahtar kelimelerini bulmak
  • Basit sınıflandırma modellerine özellik sağlamak

Sınırları

TF-IDF kelimelerin sırasını ve anlamını dikkate almaz; eş anlamlı kelimeleri farklı sayar. Bu yüzden anlamı yakalamak gereken işlerde embedding tabanlı yöntemler daha başarılıdır. Yine de hızlı, açıklanabilir ve eğitim gerektirmeyen bir başlangıç noktasıdır.

Sıkça Sorulan Sorular

TF-IDF ne işe yarar?

Bir kelimenin belirli bir belge için ne kadar ayırt edici olduğunu ölçer. Arama sıralaması, anahtar kelime çıkarımı ve metin sınıflandırmada sık kullanılır.

TF-IDF ile embedding arasındaki fark nedir?

TF-IDF kelime sayımlarına dayanır ve anlamı yakalamaz. Embedding ise metni anlamsal ilişkileri yansıtan yoğun vektörlere çevirir; eş anlamlı ifadeleri birbirine yakın konumlandırabilir.

İlgili terimler

BM25BM25 (Best Matching 25), bir sorguya karşılık belgeleri, sorgu kelimelerinin belgede ne sıklıkla geçtiğine, koleksiyonda ne kadar nadir olduğuna ve belgenin uzunluğuna göre puanlayıp sıralayan klasik bir bilgi getirme algoritmasıdır.Kelime Torbası(Bag of Words)Kelime torbası (bag of words), bir metni kelimelerin sırasını yok sayıp yalnızca hangi kelimenin kaç kez geçtiğini sayarak sayısal bir vektöre dönüştüren, metin sınıflandırmada kullanılan klasik temsil yöntemidir.EmbeddingEmbedding, bir kelimenin, cümlenin, belgenin ya da görselin anlamını sayılardan oluşan bir vektörle temsil etme yöntemidir. Anlamca birbirine yakın içeriklerin vektörleri de birbirine yakın olduğu için anlamsal arama ve RAG sistemlerinin temelini oluşturur.Kosinüs Benzerliği(Cosine Similarity)Kosinüs benzerliği (cosine similarity), iki vektör arasındaki açının kosinüsünü hesaplayarak bu vektörlerin ne kadar aynı yönü gösterdiğini ölçen bir benzerlik ölçüsüdür. Değer 1'e yaklaştıkça vektörler, dolayısıyla temsil ettikleri metinler daha benzer kabul edilir.Doğal Dil İşleme(Natural Language Processing)Doğal dil işleme (NLP), bilgisayarların insan dilini yazılı ya da sözlü olarak anlamasını, işlemesini ve üretmesini sağlayan yapay zekâ ve dilbilim alanıdır.Özellik(Feature)Özellik (feature), makine öğrenmesinde her bir örneği tanımlayan ve modelin tahmin yaparken girdi olarak kullandığı ölçülebilir nitelik ya da değişkendir. Örneğin ev fiyatı tahmininde metrekare, oda sayısı ve konum birer özelliktir.