İçeriğe geç
parazade
Yapay Zeka

GSM8K Nedir?

Yayın: · Son güncelleme:

GSM8K Nedir? Kısaca

GSM8K, dil modellerinin çok adımlı akıl yürütme becerisini ölçmek için hazırlanmış, ilkokul düzeyinde yaklaşık 8.500 sözel matematik probleminden oluşan ve cevabı tek bir sayı olan bir benchmarktır.

GSM8K nedir?
İçindekiler
  1. GSM8K nedir?
  2. Nasıl puanlanır?
  3. Sınırları

GSM8K, İngilizce "Grade School Math 8K" ifadesinin kısaltmasıdır. Adındaki "8K", yaklaşık 8 bin 500 problemden oluşmasına işaret eder. 2021'de dil modellerinin matematiksel akıl yürütmesini ölçmek için yayımlandı.

GSM8K nedir?

Testteki problemler, ilkokul düzeyinde dört işlem bilgisiyle çözülebilen sözel sorulardır. Zorluk, karmaşık matematikten değil, birkaç adımı doğru sırayla takip etmekten gelir. Problemler genellikle iki ile sekiz adım arasında çözülür.

Varsayımsal bir örnek: "Bir fırın sabah 120 simit üretiyor. Öğlene kadar üçte birini, öğleden sonra kalanın yarısını satıyor. Akşama kaç simit kalır?" Çözüm için önce 40 satılır, 80 kalır; sonra 40 satılır ve 40 simit kalır.

Veri seti, eğitim ve test bölümlerine ayrılmıştır; her problemin yanında adım adım yazılmış bir çözüm de bulunur.

Nasıl puanlanır?

Modelin verdiği son sayısal cevap, doğru cevapla karşılaştırılır. Sonuç, doğru çözülen problemlerin yüzdesidir. Modelin adım adım düşünmesini isteyen düşünce zinciri yöntemi, bu testteki başarıyı belirgin şekilde artırdığı için GSM8K bu tekniğin etkisini göstermede sıkça kullanıldı.

Sınırları

  • Doygunluk: Gelişmiş modeller bu testte çok yüksek başarıya ulaştığı için testin ayırt ediciliği azaldı; daha zor matematik testleri geliştirildi.
  • Veri kirlenmesi: Problemler yaygın olduğu için eğitim verisine sızmış olabilir. Sayıları ya da isimleri değiştirilmiş varyantlarda bazı modellerin başarısının düştüğü gözlendi; bu da ezber riskini gösterir.
  • Kapsam: Yalnızca temel aritmetik içeren sözel problemleri ölçer; ileri matematik ya da ispat becerisini göstermez.

Bir dil modelinin matematik cevaplarını, özellikle önemli hesaplarda, kendin kontrol etmen gerekir.

Sıkça Sorulan Sorular

GSM8K'deki 8K ne anlama gelir?

8K, veri setinin yaklaşık 8 bin 500 problemden oluştuğunu gösterir. GSM ise ilkokul matematiği anlamına gelen "Grade School Math" ifadesinin kısaltmasıdır.

GSM8K neden önemli bir test olarak görüldü?

Çünkü problemler basit işlemler içerse de birkaç adımlı akıl yürütme gerektirir. Bu, dil modellerinin düşünce zinciri gibi tekniklerle ne kadar geliştiğini göstermek için uygun bir ölçüt oldu.

İlgili terimler

Düşünce Zinciri(Chain of Thought)Düşünce zinciri (chain of thought), bir dil modelinin karmaşık bir soruyu cevaplamadan önce ara akıl yürütme adımlarını sırayla üretmesidir. Özellikle matematik, mantık ve çok adımlı problemlerde doğruluğu artırabilen bir yöntemdir.BenchmarkBenchmark, Türkçede kıyaslama ölçütü demektir; yapay zekâda farklı modellerin performansını aynı görevler, aynı veri seti ve aynı puanlama kurallarıyla ölçüp karşılaştırmaya yarayan standart test setidir.MMLUMMLU (Massive Multitask Language Understanding), dil modellerinin matematikten hukuka, tıptan tarihe 57 farklı alandaki bilgi ve muhakeme yeteneğini çoktan seçmeli sorularla ölçen yaygın bir benchmarktır.Model Değerlendirme(Model Evaluation)Model değerlendirme (model evaluation), bir yapay zekâ modelinin belirli bir görevdeki başarısını, güvenilirliğini, adaletini ve güvenliğini; test verileri, metrikler, karşılaştırma testleri ve insan incelemesiyle ölçme sürecidir.Veri Seti(Dataset)Veri seti (dataset), belirli bir amaç için toplanmış ve genellikle tablo, görüntü, metin ya da ses gibi ortak bir yapıda düzenlenmiş veri koleksiyonudur. Makine öğrenmesi modelleri veri setleriyle eğitilir ve değerlendirilir.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.