İçeriğe geç
parazade
Yapay Zeka

Kelime Torbası Nedir?

İngilizce: Bag of Words

Yayın: · Son güncelleme:

Kelime Torbası Nedir? Kısaca

Kelime torbası (bag of words), bir metni kelimelerin sırasını yok sayıp yalnızca hangi kelimenin kaç kez geçtiğini sayarak sayısal bir vektöre dönüştüren, metin sınıflandırmada kullanılan klasik temsil yöntemidir.

Kelime Torbası nedir?
İçindekiler
  1. Kelime torbası nedir?
  2. Örnek
  3. Avantajları ve sınırları

Kelime torbası (İngilizcesiyle bag of words), bir metni içindeki kelimelerin sayısına göre temsil eden basit bir yöntemdir. Adı, metindeki kelimelerin bir torbaya atılıp karıştırıldığı benzetmesinden gelir: Sıra kaybolur, yalnızca hangi kelimeden kaç tane olduğu kalır.

Kelime torbası nedir?

Makine öğrenmesi modelleri metinle doğrudan çalışamaz; sayılara ihtiyaç duyar. Kelime torbası bu dönüşümün en sade yollarından biridir. Önce tüm belgelerdeki kelimelerden bir sözlük (kelime dağarcığı) oluşturulur. Sonra her belge, bu sözlükteki her kelimenin o belgede kaç kez geçtiğini gösteren bir vektörle ifade edilir.

Örnek

Varsayımsal iki kısa cümle düşünelim:

  • Cümle 1: "kargo hızlı geldi"
  • Cümle 2: "kargo geç geldi, kargo hasarlı"

Sözlük: [kargo, hızlı, geldi, geç, hasarlı]

kargo hızlı geldi geç hasarlı
Cümle 1 1 1 1 0 0
Cümle 2 2 0 1 1 1

Bu vektörler, örneğin olumlu-olumsuz yorum ayırmak için bir sınıflandırıcıya verilebilir.

Avantajları ve sınırları

Kelime torbası hızlı, anlaşılır ve küçük veriyle bile iş görür. Naive Bayes gibi modellerle birlikte spam filtreleme ve konu sınıflandırmada uzun süre standart yöntem oldu.

Sınırları ise şunlardır:

  • Sıra kaybolur: "Köpek adamı ısırdı" ile "Adam köpeği ısırdı" benzer görünebilir.
  • Anlam yakalanmaz: "Güzel" ve "harika" tamamen farklı sütunlardır.
  • Seyrek ve büyük vektörler oluşur.

Sık geçen ama az bilgi taşıyan kelimelerin ağırlığını azaltmak için TF-IDF kullanılır; anlam benzerliğini yakalamak için ise embedding tabanlı yöntemler tercih edilir.

Sıkça Sorulan Sorular

Kelime torbası ile TF-IDF arasındaki fark nedir?

Kelime torbası yalnızca kelimelerin kaç kez geçtiğini sayar. TF-IDF ise bu sayıyı, kelimenin tüm belgelerde ne kadar yaygın olduğuna göre ağırlıklandırır ve ayırt edici kelimeleri öne çıkarır.

Kelime torbası bugün hâlâ kullanılıyor mu?

Evet, özellikle hızlı ve açıklanabilir bir temel model gerektiğinde ya da veri az olduğunda kullanılır. Ancak anlam gerektiren görevlerde yerini büyük ölçüde embedding ve dil modellerine bırakmıştır.

İlgili terimler

TF-IDFTF-IDF (Term Frequency–Inverse Document Frequency), bir kelimenin bir belgedeki önemini; o belgede ne sıklıkla geçtiği ile tüm belge koleksiyonunda ne kadar nadir olduğunu çarparak ölçen bir metin ağırlıklandırma yöntemidir.N-gramN-gram, bir metindeki ardışık n adet kelime ya da karakterden oluşan dizidir; örneğin iki kelimelik diziye bigram, üç kelimelik diziye trigram denir ve bu diziler dil modellemede ve metin analizinde kullanılır.Metin Sınıflandırma(Text Classification)Metin sınıflandırma, bir e-posta, yorum ya da belge gibi metinleri, içeriklerine göre önceden belirlenmiş kategorilerden birine veya birkaçına otomatik olarak atayan doğal dil işleme görevidir.EmbeddingEmbedding, bir kelimenin, cümlenin, belgenin ya da görselin anlamını sayılardan oluşan bir vektörle temsil etme yöntemidir. Anlamca birbirine yakın içeriklerin vektörleri de birbirine yakın olduğu için anlamsal arama ve RAG sistemlerinin temelini oluşturur.Makine Öğrenmesi(Machine Learning)Makine öğrenmesi, bilgisayarların açıkça programlanmadan, örnek verilerdeki kalıpları öğrenerek tahmin veya karar üretmesini sağlayan yapay zekâ dalıdır.Naive BayesNaive Bayes, Bayes teoremini kullanarak bir örneğin hangi sınıfa ait olma olasılığının en yüksek olduğunu hesaplayan ve özelliklerin sınıf bilindiğinde birbirinden bağımsız olduğunu varsayan basit ve hızlı bir sınıflandırma algoritmasıdır.Spam Filtreleme(Spam Filtering)Spam filtreleme, istenmeyen toplu reklam, oltalama (phishing) ve zararlı bağlantı içeren e-posta ya da mesajları, kurallar ve makine öğrenmesi modelleriyle tespit edip gelen kutusundan ayıran sistemdir.