GPQA Nedir?

GPQA, "Graduate-Level Google-Proof Q&A" ifadesinin kısaltmasıdır: Lisansüstü düzeyde, Google'da aranarak çözülemeyen sorular. 2023'te yayımlanan bu benchmark, büyük dil modellerinin uzmanlık gerektiren bilimsel sorulardaki başarısını ölçmek için tasarlandı.

GPQA nedir?

Test, biyoloji, fizik ve kimya alanlarında alanında doktora düzeyinde eğitim almış ya da almakta olan uzmanların yazdığı yaklaşık 450 çoktan seçmeli sorudan oluşur. Soruların en zor ve en güvenilir kısmından oluşan, yaklaşık 200 soruluk "GPQA Diamond" adlı alt küme özellikle sık raporlanır.

Testin adındaki "Google-proof" ifadesi önemlidir: Sorular, kendi alanı dışındaki yetenekli kişilerin internete sınırsız erişimle uzun süre uğraşsa bile çoğunlukla doğru cevaplayamayacağı şekilde seçilmiştir. Orijinal çalışmada alan uzmanlarının bu sorulardaki başarısı, başka alanlardan gelen ve internet kullanan katılımcılardan belirgin biçimde yüksek bulunmuştur.

Nasıl oluşturuldu?

• Uzmanlar soru ve cevapları yazdı.
• Aynı alandan başka uzmanlar soruları çözüp geri bildirim verdi; belirsiz veya hatalı sorular düzeltildi.
• Farklı alandan katılımcılar soruları internet yardımıyla çözmeye çalıştı; kolayca aranabilen sorular elendi.

Ne işe yarar, sınırları neler?

GPQA, yapay zekânın ezberden çok gerçek akıl yürütme gerektiren uzman bilgisini ne ölçüde kullanabildiğini anlamak için kullanılır. Ayrıca, insanların doğrulamakta zorlandığı konularda yapay zekâ çıktılarının nasıl denetleneceği araştırmalarına da zemin sağlar.

Sınırlamaları da vardır: Soru sayısı görece azdır, bu yüzden küçük skor farkları anlamlı olmayabilir. Çoktan seçmeli biçim, gerçek araştırma işinin karmaşıklığını tam yansıtmaz. Son dönemde güçlü modellerin yüksek skorlar alması testin ayırt ediciliğini azaltmakta, test sorularının eğitim verisine sızma riski de sonuçları yorumlarken dikkate alınmalıdır.