İçeriğe geç
parazade
Yapay Zeka

ROUGE Ne Demek?

İngilizce: ROUGE Score

Yayın: · Son güncelleme:

ROUGE Ne Demek? Kısaca

ROUGE, otomatik olarak üretilen bir özetin ya da metnin, insan tarafından yazılmış referans metinle kelime, kelime öbeği ve ortak dizi düzeyinde ne kadar örtüştüğünü ölçen, özetleme değerlendirmesinde yaygın kullanılan metrik ailesidir.

ROUGE nedir?
İçindekiler
  1. ROUGE ne demek?
  2. Başlıca ROUGE türleri
  3. Sınırları

ROUGE, İngilizce "Recall-Oriented Understudy for Gisting Evaluation" ifadesinin kısaltmasıdır. 2004 yılında otomatik özetleme sistemlerini değerlendirmek için önerildi. Adındaki "recall" kelimesi, metriğin özünü anlatır: Referans özette olan bilgilerin ne kadarı model çıktısında yakalanmış?

ROUGE ne demek?

Bir yapay zekâ modeline bir haberi özetlettiğini ve elinde aynı haber için bir editörün yazdığı özet olduğunu düşün. ROUGE, iki özet arasındaki kelime ve öbek örtüşmesini sayarak bir puan verir. Bu sayede binlerce özeti insan okumadan karşılaştırmak mümkün olur.

Başlıca ROUGE türleri

  • ROUGE-1: Tek kelimelerin örtüşmesi.
  • ROUGE-2: Ardışık iki kelimelik n-gram örtüşmesi.
  • ROUGE-L: İki metindeki en uzun ortak alt dizi; kelimelerin aynı sırada ama aralıklı geçmesine izin verir ve cümle yapısını kısmen yakalar.

Her tür için genellikle üç değer raporlanır:

Değer Anlamı
Duyarlılık (recall) Referanstaki öğelerin ne kadarı çıktıda var
Kesinlik (precision) Çıktıdaki öğelerin ne kadarı referansta var
F1 İkisinin dengeli ortalaması

Sınırları

ROUGE yüzeysel kelime eşleşmesine dayanır. Aynı fikri farklı kelimelerle ifade eden iyi bir özet düşük puan alabilir. Ayrıca bir özetin kaynağa sadık olup olmadığını, yani yanlış bilgi içerip içermediğini ölçmez; kelimeleri tutan ama bir rakamı yanlış veren özet yine de yüksek puan alabilir. Türkçe gibi eklemeli dillerde aynı kelimenin farklı ekli hâlleri eşleşmeyebilir.

Bu nedenle ROUGE, metin özetleme çalışmalarında BERTScore gibi anlam tabanlı ölçütler ve insan değerlendirmesiyle birlikte kullanılmalıdır.

Sıkça Sorulan Sorular

ROUGE-L ne anlama gelir?

ROUGE-L, model çıktısı ile referans arasındaki en uzun ortak alt diziyi temel alır. Kelimelerin aynı sırada ancak arada başka kelimelerle geçmesine izin vererek metnin yapısını kısmen değerlendirir.

Yüksek ROUGE puanı iyi bir özet anlamına gelir mi?

Her zaman değil. Yüksek puan referansla örtüşmeyi gösterir, ancak özetin doğru, tutarlı ve okunaklı olduğunu garanti etmez.

İlgili terimler

BLEU(BLEU Score)BLEU, makine çevirisi gibi otomatik üretilen bir metnin, bir veya daha fazla insan referans çevirisiyle kelime ve kelime öbeği (n-gram) düzeyinde ne kadar örtüştüğünü 0 ile 1 (ya da 0-100) arasında ölçen değerlendirme metriğidir.BERTScoreBERTScore, üretilen bir metni referans metinle karşılaştırırken kelimelerin birebir eşleşmesine değil, BERT gibi modellerden alınan bağlamsal embedding'lerin benzerliğine bakan anlam tabanlı değerlendirme metriğidir.Metin Özetleme(Text Summarization)Metin özetleme, uzun bir metnin ana fikirlerini koruyarak daha kısa bir sürümünü üretme işlemidir; yapay zekâda önemli cümleleri seçen çıkarımsal ve metni yeniden yazan soyutlayıcı olmak üzere iki ana yaklaşım vardır.Duyarlılık(Recall)Makine öğrenmesinde duyarlılık (recall), gerçekte pozitif olan örneklerin ne kadarının model tarafından doğru şekilde pozitif olarak yakalandığını gösteren orandır; doğru pozitifin, doğru pozitif ile yanlış negatif toplamına bölünmesiyle bulunur.N-gramN-gram, bir metindeki ardışık n adet kelime ya da karakterden oluşan dizidir; örneğin iki kelimelik diziye bigram, üç kelimelik diziye trigram denir ve bu diziler dil modellemede ve metin analizinde kullanılır.Kesinlik(Precision)Makine öğrenmesinde kesinlik (precision), modelin pozitif olarak işaretlediği örnekler içinde gerçekten pozitif olanların oranıdır; doğru pozitif sayısının, doğru pozitif ile yanlış pozitif toplamına bölünmesiyle hesaplanır.