İçeriğe geç
parazade
Yapay Zeka

GLUE Ne Demek?

İngilizce: GLUE Benchmark

Yayın: · Son güncelleme:

GLUE Ne Demek? Kısaca

GLUE (General Language Understanding Evaluation), dil modellerinin genel dil anlama yeteneğini duygu analizi, anlam benzerliği ve çıkarım gibi dokuz farklı İngilizce görev üzerinden ölçen ve tek bir ortalama skorla özetleyen kıyaslama testidir.

GLUE nedir?
İçindekiler
  1. GLUE ne demek?
  2. GLUE nedir, hangi görevleri içerir?
  3. Önemi ve sınırları

GLUE, "General Language Understanding Evaluation" yani "Genel Dil Anlama Değerlendirmesi" ifadesinin kısaltmasıdır. 2018'de yayımlanan bu benchmark, bir dil modelinin tek bir göreve değil, farklı dil anlama görevlerine ne kadar iyi uyum sağladığını ölçmek için tasarlandı.

GLUE ne demek?

GLUE'dan önce modeller genellikle tek bir veri setinde değerlendiriliyordu. GLUE ise dokuz görevi bir araya getirip ortak bir puan tablosu sundu. Böylece ön eğitim ile genel dil bilgisi edinen ve sonra farklı görevlere ince ayar yapılan modellerin karşılaştırılması kolaylaştı.

GLUE nedir, hangi görevleri içerir?

Görev türü Örnek görevler
Tek cümle CoLA (dil bilgisel kabul edilebilirlik), SST-2 (duygu analizi)
Benzerlik ve eş anlamlılık MRPC, QQP (aynı anlam mı?), STS-B (anlam benzerliği puanı)
Çıkarım MNLI, QNLI, RTE, WNLI (bir cümle diğerinden çıkar mı?)

Her görevin kendi ölçütü (doğruluk, F1, korelasyon gibi) vardır ve genel GLUE skoru bunların ortalamasıdır. Ayrıca modellerin hangi dilsel olgularda zorlandığını göstermek için bir tanı seti de bulunur.

Önemi ve sınırları

GLUE, BERT gibi modellerin çıkışıyla birlikte büyük ilgi gördü. Ancak modeller kısa sürede GLUE'da insan performansı için belirlenen referans skoru geçti. Bu nedenle 2019'da daha zor görevler içeren SuperGLUE yayımlandı.

GLUE'nun başlıca sınırları şunlardır:

  • Yalnızca İngilizce görevler içerir.
  • Bazı görevlerin veri seti küçüktür, sonuçlar dalgalanabilir.
  • Yüksek skor, modelin dili insan gibi "anladığı" anlamına gelmez; modeller bazen veri setlerindeki yüzeysel ipuçlarından yararlanabilir.

Bugün GLUE, güncel büyük dil modellerini ayırt etmekten çok, daha küçük kodlayıcı modellerin değerlendirilmesinde ve tarihsel karşılaştırmalarda kullanılır.

Sıkça Sorulan Sorular

GLUE nedir ve neden önemlidir?

GLUE, dil modellerinin dokuz farklı metin anlama görevindeki başarısını tek bir skorla ölçen bir kıyaslama testidir. Farklı modelleri aynı koşullarda karşılaştırmayı mümkün kıldığı için doğal dil işlemede önemli bir referans hâline gelmiştir.

GLUE ile SuperGLUE arasındaki fark nedir?

SuperGLUE, modellerin GLUE'da çok yüksek skorlara ulaşması üzerine hazırlanan daha zor bir devam testidir. Daha karmaşık akıl yürütme ve okuma anlama görevleri içerir.

İlgili terimler

BenchmarkBenchmark, Türkçede kıyaslama ölçütü demektir; yapay zekâda farklı modellerin performansını aynı görevler, aynı veri seti ve aynı puanlama kurallarıyla ölçüp karşılaştırmaya yarayan standart test setidir.BERTBERT (Bidirectional Encoder Representations from Transformers), Google araştırmacılarının 2018'de tanıttığı, metni iki yönden okuyarak her kelimenin bağlamsal anlamını öğrenen Transformer kodlayıcı tabanlı bir dil modelidir. Sınıflandırma ve arama gibi anlama görevlerinde yaygın kullanılır.Doğal Dil Anlama(Natural Language Understanding)Doğal dil anlama (NLU), doğal dil işlemenin, bilgisayarların insan dilindeki bir ifadenin anlamını, niyetini ve içerdiği önemli bilgileri çözümlemesini amaçlayan alt alanıdır.SQuAD(Stanford Question Answering Dataset)SQuAD (Stanford Question Answering Dataset), Wikipedia makalelerinden alınmış paragraflar ve bu paragraflara dair sorulardan oluşan, cevabın metindeki bir kelime grubu olduğu, makine okuma anlama modellerini ölçmek için yaygın kullanılan bir veri setidir.Ön Eğitim(Pre-training)Ön eğitim, bir yapay zekâ modelinin belirli bir göreve uyarlanmadan önce çok büyük ve genel bir veri kümesiyle eğitilerek dil, görüntü gibi alanlarda genel bilgi ve beceri kazandığı ilk aşamadır.Duygu Analizi(Sentiment Analysis)Duygu analizi (sentiment analysis), bir metinde ifade edilen tutumun olumlu, olumsuz ya da nötr olduğunu, bazen de öfke veya memnuniyet gibi duyguları doğal dil işleme yöntemleriyle otomatik olarak belirleme işlemidir.Veri Seti(Dataset)Veri seti (dataset), belirli bir amaç için toplanmış ve genellikle tablo, görüntü, metin ya da ses gibi ortak bir yapıda düzenlenmiş veri koleksiyonudur. Makine öğrenmesi modelleri veri setleriyle eğitilir ve değerlendirilir.