İçeriğe geç
parazade
Yapay Zeka

BERTScore Nedir?

Yayın: · Son güncelleme:

BERTScore Nedir? Kısaca

BERTScore, üretilen bir metni referans metinle karşılaştırırken kelimelerin birebir eşleşmesine değil, BERT gibi modellerden alınan bağlamsal embedding'lerin benzerliğine bakan anlam tabanlı değerlendirme metriğidir.

BERTScore nedir?
İçindekiler
  1. BERTScore nedir?
  2. Nasıl çalışır?
  3. Avantajları ve sınırları

BERTScore, makine çevirisi, özetleme ve metin üretimi gibi görevlerde çıktı kalitesini ölçmek için 2019'da önerilen bir metriktir. BLEU ve ROUGE gibi klasik ölçütlerin en büyük zayıflığı olan "eş anlamlıyı görmeme" sorununu hafifletmeyi amaçlar.

BERTScore nedir?

"Toplantı ertelendi" ile "Toplantı ileri bir tarihe kaydırıldı" cümleleri aynı anlama gelir ama kelimeleri pek örtüşmez. BLEU ya da ROUGE bu çifte düşük puan verebilir. BERTScore ise kelimelerin anlamını temsil eden vektörleri karşılaştırdığı için bu iki cümlenin benzer olduğunu daha iyi yakalar.

Nasıl çalışır?

  1. Hem model çıktısı hem de referans metin, BERT gibi önceden eğitilmiş bir dil modelinden geçirilir.
  2. Her token için bağlamı dikkate alan bir embedding vektörü elde edilir.
  3. Çıktıdaki her token, referanstaki en benzer token'la kosinüs benzerliği üzerinden eşleştirilir.
  4. Bu eşleşmelerden kesinlik, duyarlılık ve F1 değerleri hesaplanır.

İsteğe bağlı olarak nadir ve bilgi taşıyan kelimelere daha fazla ağırlık verilebilir.

Avantajları ve sınırları

Avantajları:

  • Eş anlamlıları ve farklı ifade biçimlerini dikkate alır.
  • Çoğu durumda insan değerlendirmesiyle klasik metriklerden daha uyumlu sonuçlar verir.

Sınırları:

  • Kullanılan modele bağlıdır; farklı modellerle hesaplanan puanlar karşılaştırılamaz.
  • Anlamı tersine çeviren küçük değişiklikleri (ör. "olumlu" yerine "olumsuz") her zaman yeterince cezalandırmayabilir, çünkü bu kelimelerin vektörleri birbirine yakın olabilir.
  • Hesaplaması klasik metriklerden daha maliyetlidir.
  • Olgusal doğruluğu doğrudan ölçmez.

Bu yüzden BERTScore, tek başına değil, başka metrikler ve insan değerlendirmesiyle birlikte kullanılması gereken bir araçtır.

Sıkça Sorulan Sorular

BERTScore neden BLEU'dan daha iyi kabul edilir?

BLEU yalnızca birebir kelime örtüşmesine bakar. BERTScore ise kelimelerin bağlamsal anlamını karşılaştırdığı için eş anlamlıları ve farklı ifade biçimlerini daha iyi değerlendirir.

BERTScore Türkçe metinler için kullanılabilir mi?

Evet, Türkçeyi destekleyen çok dilli ya da Türkçe bir model seçilerek kullanılabilir. Sonuçların güvenilirliği, seçilen modelin Türkçeyi ne kadar iyi temsil ettiğine bağlıdır.

İlgili terimler

BLEU(BLEU Score)BLEU, makine çevirisi gibi otomatik üretilen bir metnin, bir veya daha fazla insan referans çevirisiyle kelime ve kelime öbeği (n-gram) düzeyinde ne kadar örtüştüğünü 0 ile 1 (ya da 0-100) arasında ölçen değerlendirme metriğidir.ROUGE(ROUGE Score)ROUGE, otomatik olarak üretilen bir özetin ya da metnin, insan tarafından yazılmış referans metinle kelime, kelime öbeği ve ortak dizi düzeyinde ne kadar örtüştüğünü ölçen, özetleme değerlendirmesinde yaygın kullanılan metrik ailesidir.BERTBERT (Bidirectional Encoder Representations from Transformers), Google araştırmacılarının 2018'de tanıttığı, metni iki yönden okuyarak her kelimenin bağlamsal anlamını öğrenen Transformer kodlayıcı tabanlı bir dil modelidir. Sınıflandırma ve arama gibi anlama görevlerinde yaygın kullanılır.EmbeddingEmbedding, bir kelimenin, cümlenin, belgenin ya da görselin anlamını sayılardan oluşan bir vektörle temsil etme yöntemidir. Anlamca birbirine yakın içeriklerin vektörleri de birbirine yakın olduğu için anlamsal arama ve RAG sistemlerinin temelini oluşturur.TokenToken, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası ya da bir noktalama işareti olabilir. Modellerin hızı, bağlam penceresi ve kullanım ücretleri genellikle token sayısıyla ölçülür.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.