İçeriğe geç
parazade
Yapay Zeka

BLEU Ne Demek?

İngilizce: BLEU Score

Yayın: · Son güncelleme:

BLEU Ne Demek? Kısaca

BLEU, makine çevirisi gibi otomatik üretilen bir metnin, bir veya daha fazla insan referans çevirisiyle kelime ve kelime öbeği (n-gram) düzeyinde ne kadar örtüştüğünü 0 ile 1 (ya da 0-100) arasında ölçen değerlendirme metriğidir.

BLEU nedir?
İçindekiler
  1. BLEU ne demek?
  2. Nasıl hesaplanır?
  3. Sınırları

BLEU, İngilizce "Bilingual Evaluation Understudy" ifadesinin kısaltmasıdır. 2002 yılında IBM araştırmacıları tarafından makine çevirisi kalitesini otomatik ölçmek için önerildi ve uzun yıllar bu alanın standart metriği oldu.

BLEU ne demek?

Bir çeviriyi insanlara değerlendirtmek pahalı ve yavaştır. BLEU, makinenin çevirisini önceden hazırlanmış insan çevirileriyle (referanslarla) karşılaştırarak hızlı bir puan verir. Temel varsayım şudur: Makine çevirisi profesyonel bir insan çevirisine ne kadar benziyorsa o kadar iyidir.

Nasıl hesaplanır?

  1. N-gram kesinliği: Makine çıktısındaki 1, 2, 3 ve 4 kelimelik dizilerin (n-gram) ne kadarının referans çevirilerde de geçtiği hesaplanır. Bir kelimenin referanstakinden fazla tekrarlanması ödüllendirilmez.
  2. Ortalama: Bu kesinlik değerlerinin geometrik ortalaması alınır.
  3. Kısalık cezası: Çok kısa çıktılar yüksek kesinlik elde edebileceği için, referanstan kısa çeviriler cezalandırılır.

Sonuç genellikle 0 ile 1 arasında ya da 100 üzerinden ifade edilir. Varsayımsal bir örnekte, referansla birebir aynı bir çeviri en yüksek puanı alırken anlamı doğru ama farklı kelimelerle yazılmış bir çeviri düşük puan alabilir.

Sınırları

  • Eş anlamlıları görmez: "Hızlı" yerine "süratli" yazmak puanı düşürür.
  • Anlamı değil, yüzey benzerliğini ölçer: Kelimeleri tutan ama anlamı bozan bir çeviri iyi puan alabilir.
  • Tek cümlede güvenilmezdir: Daha çok büyük test setleri üzerinde ortalama olarak anlamlıdır.
  • Farklı ayarlar farklı sonuç verir: Tokenizasyon farkları puanları karşılaştırılamaz hâle getirebilir.

Bu nedenle BLEU genellikle BERTScore gibi anlam tabanlı metrikler ve insan değerlendirmesiyle birlikte kullanılır.

Sıkça Sorulan Sorular

İyi bir BLEU puanı kaç olmalı?

Evrensel bir eşik yoktur; puan dil çiftine, test setine ve referans sayısına göre büyük farklılık gösterir. BLEU en çok aynı koşullarda farklı sistemleri karşılaştırmak için anlamlıdır.

BLEU ile ROUGE arasındaki fark nedir?

BLEU çoğunlukla çeviri için kullanılır ve kesinliğe odaklanır. ROUGE ise özetleme değerlendirmesinde yaygındır ve daha çok referanstaki içeriğin ne kadarının yakalandığına, yani duyarlılığa bakar.

İlgili terimler

ROUGE(ROUGE Score)ROUGE, otomatik olarak üretilen bir özetin ya da metnin, insan tarafından yazılmış referans metinle kelime, kelime öbeği ve ortak dizi düzeyinde ne kadar örtüştüğünü ölçen, özetleme değerlendirmesinde yaygın kullanılan metrik ailesidir.BERTScoreBERTScore, üretilen bir metni referans metinle karşılaştırırken kelimelerin birebir eşleşmesine değil, BERT gibi modellerden alınan bağlamsal embedding'lerin benzerliğine bakan anlam tabanlı değerlendirme metriğidir.Makine Çevirisi(Machine Translation)Makine çevirisi, bir dildeki metni ya da konuşmayı insan çevirmen olmadan, bilgisayar yazılımıyla başka bir dile aktarma işlemidir; günümüzde çoğunlukla derin öğrenmeye dayalı nöral modellerle yapılır.N-gramN-gram, bir metindeki ardışık n adet kelime ya da karakterden oluşan dizidir; örneğin iki kelimelik diziye bigram, üç kelimelik diziye trigram denir ve bu diziler dil modellemede ve metin analizinde kullanılır.Kesinlik(Precision)Makine öğrenmesinde kesinlik (precision), modelin pozitif olarak işaretlediği örnekler içinde gerçekten pozitif olanların oranıdır; doğru pozitif sayısının, doğru pozitif ile yanlış pozitif toplamına bölünmesiyle hesaplanır.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.