İçeriğe geç
parazade
Yapay Zeka

MMLU Nedir?

Yayın: · Son güncelleme:

MMLU Nedir? Kısaca

MMLU (Massive Multitask Language Understanding), dil modellerinin matematikten hukuka, tıptan tarihe 57 farklı alandaki bilgi ve muhakeme yeteneğini çoktan seçmeli sorularla ölçen yaygın bir benchmarktır.

MMLU nedir?
İçindekiler
  1. MMLU nedir?
  2. Nasıl puanlanır?
  3. Sınırları

MMLU, İngilizce "Massive Multitask Language Understanding" ifadesinin kısaltmasıdır ve Türkçeye "kapsamlı çok görevli dil anlama" olarak çevrilebilir. 2020'de akademik araştırmacılar tarafından yayımlanan bu test, uzun süre büyük dil modellerinin genel bilgi düzeyini ölçmenin standart yolu oldu.

MMLU nedir?

MMLU, yaklaşık 16 bin çoktan seçmeli sorudan oluşur. Sorular 57 konu başlığına dağılır: ilköğretim matematiğinden üniversite düzeyi fiziğe, hukuktan tıbba, tarihten felsefe ve ekonomiye kadar. Zorluk seviyesi lise düzeyinden uzmanlık düzeyine uzanır.

Testin amacı, bir modelin yalnızca tek bir alanda değil, çok geniş bir konu yelpazesinde ne kadar bilgi ve akıl yürütme becerisine sahip olduğunu görmektir.

Nasıl puanlanır?

Her soruda dört seçenek bulunur. Model doğru seçeneği işaretlerse puan alır; sonuç, tüm sorulardaki doğruluk oranı olarak raporlanır. Rastgele tahminle beklenen başarı yaklaşık yüzde 25'tir. Testler genellikle modele birkaç çözülmüş örnek gösterilerek ya da hiç örnek gösterilmeden yapılır ve bu ayar sonuçları etkileyebilir.

Sınırları

  • Doygunluk: Gelişmiş modeller MMLU'da çok yüksek puanlara ulaştığı için test, en iyi modelleri artık iyi ayırt edemiyor. Bu nedenle daha zor varyantlar ve yeni testler geliştirildi.
  • Hatalı sorular: İncelemeler, bazı soruların ya da cevap anahtarlarının hatalı olduğunu gösterdi.
  • Veri kirlenmesi: Sorular internette yaygın olduğu için eğitim verisine sızmış olabilir.
  • Çoktan seçmeli yapı: Bilgiyi tanımayı ölçer; uzun ve açık uçlu bir cevabı üretme becerisini tam yansıtmaz.
  • Dil: Orijinal test İngilizcedir; diğer dillerdeki performans için çeviri ya da yerel sürümler gerekir.

Sıkça Sorulan Sorular

MMLU kaç sorudan oluşur?

MMLU, 57 farklı konuya dağılmış yaklaşık 16 bin çoktan seçmeli sorudan oluşur. Sorular eğitim, geliştirme ve test bölümlerine ayrılmıştır.

MMLU puanı neden artık daha az önemseniyor?

Gelişmiş modeller bu testte çok yüksek puanlara ulaştığı için aralarındaki farkı göstermek zorlaştı. Ayrıca bazı hatalı sorular ve veri kirlenmesi endişeleri, daha zor testlere yönelinmesine yol açtı.

İlgili terimler

BenchmarkBenchmark, Türkçede kıyaslama ölçütü demektir; yapay zekâda farklı modellerin performansını aynı görevler, aynı veri seti ve aynı puanlama kurallarıyla ölçüp karşılaştırmaya yarayan standart test setidir.GPQAGPQA (Graduate-Level Google-Proof Q&A), biyoloji, fizik ve kimya alanlarında uzmanlar tarafından yazılmış, internette aranarak kolayca cevaplanamayacak çoktan seçmeli sorulardan oluşan, yapay zekâ modellerinin ileri düzey bilimsel akıl yürütmesini ölçen bir kıyaslama testidir.Humanity's Last ExamHumanity's Last Exam (HLE), birçok alandan uzmanların hazırladığı, yapay zekâ modellerinin henüz zorlandığı çok zor ve kapalı uçlu sorulardan oluşan, ileri düzey akademik bilgi ve akıl yürütmeyi ölçmeyi amaçlayan bir benchmarktır.Model Değerlendirme(Model Evaluation)Model değerlendirme (model evaluation), bir yapay zekâ modelinin belirli bir görevdeki başarısını, güvenilirliğini, adaletini ve güvenliğini; test verileri, metrikler, karşılaştırma testleri ve insan incelemesiyle ölçme sürecidir.Büyük Dil Modeli(Large Language Model)Büyük dil modeli (LLM), çok büyük miktarda metinle eğitilen ve bir metnin devamında hangi parçanın geleceğini tahmin ederek yazı üreten yapay zekâ modelidir. Sohbet asistanları, kod yardımcıları ve özetleme araçlarının temelinde bu modeller bulunur.Doğruluk Oranı(Accuracy)Doğruluk oranı (accuracy), bir sınıflandırma modelinin yaptığı tüm tahminler içinde doğru olanların oranıdır; doğru tahmin sayısının toplam tahmin sayısına bölünmesiyle hesaplanır ve genellikle yüzde olarak ifade edilir.