Lemmatizasyon Nedir?
İngilizce: Lemmatization
Yayın: · Son güncelleme:
Lemmatizasyon Nedir? Kısaca
Lemmatizasyon, doğal dil işlemede bir kelimenin çekimli biçimini, dilbilgisi ve sözlük bilgisi kullanarak sözlükte yer alan temel biçimine (lemma) indirgeme işlemidir; örneğin "gittim" kelimesini "gitmek" biçimine bağlar.
Lemmatizasyon, kelimeleri sözlükteki temel biçimlerine indirgeyen metin ön işleme adımıdır. Bu temel biçime "lemma" denir. Örneğin "gidiyorduk", "gitti" ve "gideceğim" kelimelerinin lemması "gitmek"tir.
Lemmatizasyon nedir?
Bir metinde aynı kavram onlarca farklı biçimde geçebilir. Bilgisayar bu biçimleri farklı kelimeler olarak görürse metni analiz etmek zorlaşır. Lemmatizasyon bu biçimleri tek bir temsile bağlayarak sayma, arama ve sınıflandırma gibi işleri daha tutarlı hâle getirir.
Nasıl çalışır?
Lemmatizasyon, basit ek kesmenin ötesine geçer:
- Kelimenin cümledeki türü (isim, fiil, sıfat) belirlenir.
- Biçimbilimsel çözümleme ile kelime kök ve eklerine ayrılır.
- Sözlük bilgisi kullanılarak doğru temel biçim seçilir.
Örneğin İngilizcede "better" kelimesi bir sıfat olarak "good" lemmasına bağlanabilir; basit bir kural tabanlı kesme yöntemi bunu yapamaz. Türkçede ise "kitabı" kelimesindeki ünsüz yumuşaması dikkate alınarak doğru biçimde "kitap" lemması bulunur.
Kök bulmadan farkı
| Kök bulma | Lemmatizasyon | |
|---|---|---|
| Yöntem | Ekleri kurallarla keser | Dilbilgisi ve sözlük kullanır |
| Çıktı | Gerçek kelime olmayabilir | Sözlükteki geçerli biçim |
| Hız | Çok hızlı | Daha yavaş |
| Doğruluk | Daha kaba | Daha isabetli |
Nerelerde kullanılır?
Arama motorları, metin sınıflandırma, konu modelleme ve metin madenciliği gibi işlerde klasik bir ön işleme adımıdır. Türkçe gibi eklemeli dillerde kelime çeşitliliği çok yüksek olduğu için lemmatizasyonun faydası daha belirgindir. Büyük dil modelleri ise genellikle alt kelime tokenizasyonuyla çalıştığından bu adıma ayrıca ihtiyaç duymaz.
Sıkça Sorulan Sorular
Lemma ne demek?
Lemma, bir kelimenin sözlükte madde başı olarak yer aldığı temel biçimidir. Örneğin "evlerimizden" kelimesinin lemması "ev", "okuyorum" kelimesinin lemması "okumak"tır.
Türkçede lemmatizasyon neden zordur?
Türkçe eklemeli bir dil olduğu için tek bir köke çok sayıda ek art arda eklenebilir ve ses olayları kökü değiştirebilir. Bu nedenle doğru sonuç için ayrıntılı bir biçimbilimsel çözümleme gerekir.