HellaSwag Nedir?
Yayın: · Son güncelleme:
HellaSwag Nedir? Kısaca
HellaSwag, dil modellerinin sağduyuya dayalı çıkarım yeteneğini ölçen bir kıyaslama testidir; modelden, günlük bir olayı anlatan kısa bir metnin dört olası devamından en mantıklı olanını seçmesi istenir.
HellaSwag, yapay zekâ modellerinin "sağduyusunu" ölçmek için 2019'da yayımlanan bir benchmark veri setidir. İnsanlar için çok kolay, ama yayımlandığı dönemde modeller için oldukça zor olacak şekilde tasarlandı.
HellaSwag nedir?
Her soruda modele bir olayın başlangıcı verilir ve dört olası devam sunulur. Görev, en mantıklı devamı seçmektir. Örneğin varsayımsal bir soru şöyle olabilir:
"Bir kadın mutfakta kek hamurunu karıştırıyor. Ardından…"
- A) hamuru kalıba döküp fırına yerleştiriyor.
- B) karıştırıcıyı alıp bahçedeki çimleri biçmeye başlıyor.
- C) kalıbı fırından çıkarıp hamuru yeniden karıştırıyor.
- D) kek hamurunu bir kitabın sayfalarına sürüyor.
İnsan için cevap barizdir; ama yanlış seçenekler dil bilgisi açısından düzgün ve konuyla ilgili kelimeler içerdiği için yüzeysel kalıplara dayanan bir model yanılabilir. Bağlamlar, video açıklamaları ve WikiHow gibi nasıl yapılır metinlerinden alınmıştır.
Nasıl oluşturuldu?
Testin ayırt edici yönü "çekişmeli filtreleme" (adversarial filtering) yöntemidir. Yanlış seçenekler bir dil modeliyle üretildi; ardından başka modellerin kolayca ayırt edebildiği yanlış seçenekler elenerek yerine modelleri yanıltan seçenekler bırakıldı. Sonuçta insanlar %95'in üzerinde başarı gösterirken, dönemin en iyi modelleri bunun çok altında kaldı.
Bugünkü yeri ve sınırları
Büyük dil modelleri geliştikçe HellaSwag'de insan düzeyine yakın skorlar elde edilmeye başlandı; bu yüzden test artık en güçlü modelleri birbirinden ayırt etmekte yetersiz kalabiliyor. Ayrıca veri setinde bazı hatalı veya belirsiz örnekler bulunduğu bildirilmiştir. Yine de model değerlendirme setlerinde temel bir sağduyu ölçüsü olarak sıkça raporlanır. Skorları yorumlarken test verisinin eğitim verisine sızma olasılığını da göz önünde bulundurmak gerekir.
Sıkça Sorulan Sorular
HellaSwag'de çekişmeli filtreleme ne demek?
Yanlış cevap seçeneklerinin, yapay zekâ modellerini en çok yanıltacak şekilde seçilmesi demektir. Modellerin kolayca elediği seçenekler çıkarılır, onları zorlayan ama insanlar için açıkça yanlış olanlar bırakılır.
HellaSwag hâlâ kullanılıyor mu?
Evet, birçok model raporunda temel bir sağduyu testi olarak yer alır. Ancak güçlü modellerin insan düzeyine yakın skor alması nedeniyle tek başına modelleri karşılaştırmak için yeterli görülmez.