İçeriğe geç
parazade
Yapay Zeka

Kök Bulma Nedir?

İngilizce: Stemming

Yayın: · Son güncelleme:

Kök Bulma Nedir? Kısaca

Kök bulma (stemming), doğal dil işlemede kelimelerin sonundaki çekim ve yapım eklerini basit kurallarla kırparak onları ortak bir gövdeye indirgeme işlemidir; aramada ve metin analizinde benzer kelimeleri birleştirir.

Kök Bulma nedir?
İçindekiler
  1. Kök bulma nedir?
  2. Nasıl çalışır?
  3. Türkçede kök bulma

Kök bulma, İngilizcede "stemming" olarak bilinen ve kelimeleri eklerinden arındırarak ortak bir gövdeye indirgeyen metin ön işleme yöntemidir. Amaç, aynı kelimenin farklı biçimlerini tek bir terim gibi ele almaktır.

Kök bulma nedir?

"Kitaplar", "kitabı", "kitaplardan" kelimelerinin hepsi aynı kavramdan söz eder. Bir arama motoru bunları tamamen farklı kelimeler sayarsa "kitap" araması bazı belgeleri kaçırabilir. Kök bulma, bu kelimeleri "kitap" gibi ortak bir gövdeye indirerek eşleşmeyi kolaylaştırır.

Nasıl çalışır?

Kök bulma algoritmaları genellikle kural tabanlıdır: Belirli ek kalıplarını tanır ve kelimenin sonundan keser. İngilizce için en bilinen örnek Porter algoritmasıdır; örneğin "connected", "connecting" ve "connection" kelimelerini "connect" gövdesine indirir.

Bu yöntem hızlıdır ama kaba bir yöntemdir. Ortaya çıkan gövde her zaman sözlükte bulunan gerçek bir kelime olmayabilir. Ayrıca iki hata türü görülür:

  • Aşırı kesme: Anlamca farklı kelimeler aynı gövdeye indirgenir.
  • Eksik kesme: Aynı kelimenin biçimleri farklı gövdelerde kalır.

Türkçede kök bulma

Türkçe eklemeli bir dil olduğu için tek bir köke çok sayıda ek art arda gelebilir ve ünsüz yumuşaması gibi ses olayları gövdeyi değiştirebilir ("kitap" → "kitabı"). Bu yüzden basit kesme kuralları Türkçede sık hata yapar; daha doğru sonuç için biçimbilimsel çözümleyiciler ya da lemmatizasyon tercih edilir.

Kök bulma; arama motorları, TF-IDF gibi klasik metin temsilleri ve metin sınıflandırmada yaygındır. Modern dil modelleri ise genellikle alt kelime tokenizasyonu kullandığı için ayrı bir kök bulma adımına ihtiyaç duymaz.

Sıkça Sorulan Sorular

Kök bulma ile lemmatizasyon arasındaki fark nedir?

Kök bulma, eklerini kurallarla keserek kelimeyi kaba bir gövdeye indirir ve sonuç gerçek bir kelime olmayabilir. Lemmatizasyon ise sözlük ve dilbilgisi bilgisini kullanarak kelimenin sözlükteki temel biçimini bulur.

Büyük dil modelleri kök bulma kullanır mı?

Genellikle hayır. Büyük dil modelleri metni BPE gibi alt kelime tokenizasyonuyla parçalar ve kelime biçimleri arasındaki ilişkiyi eğitim sırasında kendisi öğrenir.

İlgili terimler

Lemmatizasyon(Lemmatization)Lemmatizasyon, doğal dil işlemede bir kelimenin çekimli biçimini, dilbilgisi ve sözlük bilgisi kullanarak sözlükte yer alan temel biçimine (lemma) indirgeme işlemidir; örneğin "gittim" kelimesini "gitmek" biçimine bağlar.Doğal Dil İşleme(Natural Language Processing)Doğal dil işleme (NLP), bilgisayarların insan dilini yazılı ya da sözlü olarak anlamasını, işlemesini ve üretmesini sağlayan yapay zekâ ve dilbilim alanıdır.TokenizerTokenizer, bir metni dil modelinin işleyebileceği token adlı küçük birimlere (kelime, kelime parçası ya da karakter) bölen ve bunları sayısal kimliklere çeviren bileşendir. Her modelin kendine ait bir tokenizer'ı vardır.TF-IDFTF-IDF (Term Frequency–Inverse Document Frequency), bir kelimenin bir belgedeki önemini; o belgede ne sıklıkla geçtiği ile tüm belge koleksiyonunda ne kadar nadir olduğunu çarparak ölçen bir metin ağırlıklandırma yöntemidir.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.Dil Tespiti(Language Detection)Dil tespiti (language detection), bir metnin ya da ses kaydının hangi dilde olduğunu otomatik olarak belirleyen doğal dil işleme görevidir. Çeviri, arama motorları ve içerik moderasyonu gibi pek çok sistemin ilk adımıdır.