İçeriğe geç
parazade
Yapay Zeka

BM25 Nedir?

Yayın: · Son güncelleme:

BM25 Nedir? Kısaca

BM25 (Best Matching 25), bir sorguya karşılık belgeleri, sorgu kelimelerinin belgede ne sıklıkla geçtiğine, koleksiyonda ne kadar nadir olduğuna ve belgenin uzunluğuna göre puanlayıp sıralayan klasik bir bilgi getirme algoritmasıdır.

BM25 nedir?
İçindekiler
  1. BM25 nedir?
  2. Nasıl çalışır?
  3. Nelere dikkat etmeli?

BM25, 1990'larda geliştirilen Okapi bilgi getirme sistemiyle tanındı ve hâlâ birçok arama motorunun varsayılan sıralama yöntemlerinden biridir. Bugün hibrit arama sistemlerinin anahtar kelime ayağını oluşturur.

BM25 nedir?

BM25, TF-IDF fikrinin geliştirilmiş bir hâlidir. Bir belgenin sorguyla ne kadar ilgili olduğunu üç sezgiyle ölçer:

  • Terim sıklığı: Sorgu kelimesi belgede ne kadar çok geçiyorsa belge o kadar ilgili olabilir.
  • Ters belge sıklığı: Az sayıda belgede geçen nadir kelimeler, "ve" gibi her yerde geçen kelimelerden daha ayırt edicidir.
  • Belge uzunluğu: Uzun belgeler kelimeleri doğal olarak daha çok içerir; bu avantaj dengelenir.

Nasıl çalışır?

BM25'in TF-IDF'ten önemli farkı doygunluk kavramıdır. Bir kelimenin belgede 1 yerine 2 kez geçmesi puanı belirgin artırır, ama 50 yerine 51 kez geçmesi neredeyse hiç fark yaratmaz. Bu davranış iki parametreyle ayarlanır:

  • k1: Terim sıklığının puanı ne kadar hızlı doyuma ulaştıracağını belirler.
  • b: Belge uzunluğu düzeltmesinin ne kadar güçlü olacağını belirler.

Her sorgu kelimesi için puan hesaplanır ve toplanır; en yüksek puanlı belgeler üstte listelenir.

Nelere dikkat etmeli?

BM25 kelimelerin anlamını bilmez; "araba" ile "otomobil" arasındaki ilişkiyi kuramaz. Bu yüzden eş anlamlı ifadelerde anlamsal arama daha başarılı olabilir. Buna karşılık hızlıdır, eğitim gerektirmez ve özel isim, kod gibi tam eşleşmelerde çok güvenilirdir. Türkçede ekler nedeniyle kök bulma gibi ön işlemler sonucu iyileştirebilir.

Sıkça Sorulan Sorular

BM25 ile TF-IDF arasındaki fark nedir?

İkisi de terim sıklığı ve nadirliği kullanır. BM25 ek olarak terim sıklığının etkisini doygunlukla sınırlar ve belge uzunluğunu ayarlanabilir biçimde dengeler; bu yüzden genellikle daha iyi sıralama verir.

BM25 yapay zekâ mı?

Klasik bir istatistiksel algoritmadır ve eğitim gerektirmez. Ancak bugün yapay zekâ tabanlı RAG ve arama sistemlerinde önemli bir bileşen olarak kullanılır.

İlgili terimler

TF-IDFTF-IDF (Term Frequency–Inverse Document Frequency), bir kelimenin bir belgedeki önemini; o belgede ne sıklıkla geçtiği ile tüm belge koleksiyonunda ne kadar nadir olduğunu çarparak ölçen bir metin ağırlıklandırma yöntemidir.Hibrit Arama(Hybrid Search)Hibrit arama (hybrid search), klasik anahtar kelime aramasını (ör. BM25) anlamsal vektör aramasıyla birleştirip iki yöntemin sonuçlarını tek bir sıralamada harmanlayan bir bilgi getirme yaklaşımıdır.Anlamsal Arama(Semantic Search)Anlamsal arama (semantic search), kelimelerin birebir eşleşmesi yerine sorgunun ve belgelerin anlamını karşılaştırarak sonuç getiren arama yöntemidir. Farklı kelimelerle sorulan aynı soruya da ilgili içerikleri bulabilir.RAG(Retrieval-Augmented Generation)RAG (Retrieval-Augmented Generation, erişimle zenginleştirilmiş üretim), bir dil modelinin soruyu cevaplamadan önce bir belge koleksiyonunda ilgili bölümleri bulup bu bölümlere dayanarak yanıt yazmasını sağlayan yöntemdir. Modeli yeniden eğitmeden kendi belgeleriniz hakkında soru sormanızı sağlar.Kök Bulma(Stemming)Kök bulma (stemming), doğal dil işlemede kelimelerin sonundaki çekim ve yapım eklerini basit kurallarla kırparak onları ortak bir gövdeye indirgeme işlemidir; aramada ve metin analizinde benzer kelimeleri birleştirir.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.