Humanity's Last Exam Nedir?

Humanity's Last Exam, Türkçeye "İnsanlığın Son Sınavı" olarak çevrilebilir ve kısaca HLE diye anılır. 2025'in başında, önceki testlerin artık yetersiz kalmasına yanıt olarak yapay zekâ güvenliği alanında çalışan bir kuruluş ve bir veri şirketi tarafından yayımlandı.

Humanity's Last Exam nedir?

MMLU gibi testlerde gelişmiş modeller çok yüksek puanlara ulaşınca, en iyi modelleri birbirinden ayırt edecek daha zor bir teste ihtiyaç doğdu. HLE bu boşluğu doldurmak için tasarlandı.

Sorular dünyanın farklı yerlerinden çok sayıda akademisyen ve uzman tarafından yazıldı. Matematik, fizik, kimya, biyoloji, bilgisayar bilimi ve beşerî bilimler gibi onlarca alanı kapsar. Bir kısmı yalnızca metin, bir kısmı ise görsel de içerir. Soruların bir bölümü çoktan seçmeli, bir bölümü ise kısa ve kesin bir cevap gerektirir.

Nasıl hazırlandı?

Aday sorular, testin yapıldığı dönemdeki gelişmiş modellere soruldu; modellerin kolayca doğru cevapladığı sorular elendi. Ardından uzman incelemesinden geçen sorular sete alındı. Soruların internette kolayca bulunabilecek cevapları olmaması hedeflendi. Ayrıca sonuçların güvenilirliğini korumak için bazı sorular gizli tutuldu.

Nasıl yorumlanmalı?

Testin adı iddialı olsa da, HLE'de yüksek puan almak bir modelin "insan zekâsına ulaştığı" anlamına gelmez. Test, kapalı uçlu akademik bilgi ve akıl yürütmeyi ölçer; yaratıcılık, araştırma yapma ya da gerçek dünyada uzun görevleri tamamlama gibi becerileri doğrudan ölçmez.

Yayımlandıktan sonra yapılan incelemelerde bazı soruların cevap anahtarlarının tartışmalı olduğu da öne sürüldü. Bu nedenle HLE sonuçlarını, başka benchmark sonuçları ve gerçek kullanım deneyimleriyle birlikte değerlendirmek gerekir. Modellerin bu testte de zamanla yükselmesi, daha yeni ve farklı türde testlere ihtiyaç duyulacağını gösterir.