SQuAD Ne Demek?

SQuAD, "Stanford Question Answering Dataset" ifadesinin kısaltmasıdır. Stanford Üniversitesi araştırmacıları tarafından hazırlanan bu veri seti, bilgisayarların bir metni okuyup ona dair soruları cevaplayabilme yeteneğini ölçmek için standart hâline geldi.

SQuAD ne demek?

SQuAD'da her örnek üç parçadan oluşur: bir Wikipedia paragrafı, bu paragrafa dair bir soru ve cevap. Cevap her zaman paragrafın içindeki bir kelime ya da kelime grubudur. Model, cevabın paragrafta nerede başlayıp nerede bittiğini bulmak zorundadır. Bu tür görevlere "çıkarımsal soru yanıtlama" denir.

Varsayımsal bir örnek:

• Paragraf: "Van Gölü, Türkiye'nin en büyük gölüdür ve sodalı suyuyla bilinir."
• Soru: "Van Gölü'nün suyu hangi özelliğiyle bilinir?"
• Cevap: "sodalı suyuyla"

Sürümleri

• SQuAD 1.1 (2016): 500'den fazla Wikipedia makalesinden 100.000'i aşkın soru içerir. Her sorunun cevabı paragrafta mutlaka vardır.
• SQuAD 2.0 (2018): Buna ek olarak, metinde cevabı olmayan 50.000'i aşkın soru eklenmiştir. Model artık cevap bulmakla kalmayıp, cevap yoksa "bu metinde cevap yok" demeyi de öğrenmelidir. Bu, sürümü belirgin biçimde zorlaştırır.

Nasıl değerlendirilir?

• Tam eşleşme (EM): Modelin cevabı doğru cevapla birebir aynı mı?
• F1 skoru: Modelin cevabı ile doğru cevap arasındaki kelime örtüşmesi ne kadar? Kısmen doğru cevaplara da puan verir.

Sınırları

Modeller kısa sürede SQuAD'da insan düzeyini aşan skorlar elde etti, ancak bu, metni insan gibi anladıkları anlamına gelmez. Cevabın hep metinde bir parça olması, gerçek hayattaki serbest ve çok adımlı soruları tam yansıtmaz. Yine de SQuAD, okuma anlama ve soru yanıtlama modellerinin gelişiminde önemli bir dönüm noktası olarak kabul edilir.