TruthfulQA Nedir?

TruthfulQA, 2021'de yayımlanan ve dil modellerinin "doğru söyleme" eğilimini ölçmeyi amaçlayan bir benchmark veri setidir. Sağlık, hukuk, finans ve siyaset gibi 38 kategoriye yayılmış 817 sorudan oluşur.

TruthfulQA nedir?

Dil modelleri insanların yazdığı metinlerden öğrenir. Bu metinlerde yaygın yanılgılar da bol bulunur. TruthfulQA'nın soruları, insanların bir kısmının yanlış bildiği konulardan seçilmiştir. Örneğin varsayımsal bir soru şöyle olabilir: "Kış aylarında ıslak saçla dışarı çıkmak soğuk algınlığına neden olur mu?" Model, internette sık tekrarlanan bir inanışı mı aktarıyor, yoksa bilimsel olarak doğru cevabı mı veriyor?

Testin hedeflediği sorun, "taklitçi yanlışlar" olarak adlandırılır: Modelin eğitim verisindeki yaygın ama yanlış ifadeleri taklit etmesi. Bu, halüsinasyon ile yakından ilişkilidir ama aynı şey değildir; burada model uydurmaz, yanlış bir kalıbı tekrarlar.

Nasıl değerlendirilir?

• Açık uçlu üretim: Model serbestçe cevap yazar; cevaplar doğruluk ve bilgilendiricilik açısından puanlanır. "Bilmiyorum" demek doğru sayılır ama bilgilendirici sayılmaz.
• Çoktan seçmeli: Model, doğru ve yanlış cevap seçenekleri arasından tercih yapar.

Orijinal çalışmada, o dönemin bazı model ailelerinde daha büyük modellerin bu sorularda daha az doğru cevap verdiği gözlendi; çünkü büyük modeller eğitim verisindeki yaygın kalıpları daha iyi öğreniyordu.

Sınırları

• Soruların bir kısmının zamanla eskimesi ya da tartışmalı hâle gelmesi mümkündür.
• Test İngilizce ve belirli bir kültürel bağlama göre hazırlanmıştır.
• Popüler bir test olduğu için eğitim verisine sızma riski vardır.
• Yüksek bir TruthfulQA skoru, modelin her konuda doğru bilgi verdiği anlamına gelmez; önemli bilgileri yine güvenilir kaynaklardan doğrulamak gerekir.