Halüsinasyon Nedir?

Halüsinasyon nedir?

Dil modelleri bilgiyi bir veri tabanından okuyarak değil, eğitim sırasında öğrendikleri örüntülere göre en olası metni üreterek cevap verir. Model bir konuda yeterli bilgiye sahip olmadığında da akıcı bir cevap üretmeye devam eder. Ortaya çıkan metin dil açısından kusursuz görünebilir ama içeriği yanlış olabilir. Bu duruma halüsinasyon denir.

Sık görülen örnekler

• Var olmayan kitap, makale ya da web adresi önermek.
• Rakamları, tarihleri ya da istatistikleri yanlış vermek.
• Bir yazılım kütüphanesinde bulunmayan bir fonksiyonu varmış gibi kullanmak.
• Kişiler veya kurumlar hakkında doğrulanmamış bilgi üretmek.

Neden olur?

• Eğitim verisinin sınırları: Model, eğitim verisinde az geçen ya da hiç geçmeyen konularda tahmine dayanır.
• Güncellik: Eğitim verisinin bittiği tarihten sonraki gelişmeleri bilmez.
• Üretim biçimi: Model "bilmiyorum" demek yerine olası görünen bir devam üretmeye eğilimlidir.
• Belirsiz soru: Açık olmayan sorular, modelin boşlukları kendi tahminiyle doldurmasına yol açar.

Riski azaltmanın yolları

1. Önemli bilgileri her zaman birincil ve güvenilir kaynaklardan doğrulayın.
2. Belgelerinize dayalı sorular için RAG kullanın ve cevabın hangi kaynaktan geldiğini kontrol edin.
3. Promptta, bilmediği durumda bunu açıkça söylemesini isteyin.
4. Finans, sağlık ve hukuk gibi alanlarda model çıktısını tek başına karar dayanağı yapmayın.
5. Kod önerilerini çalıştırıp test etmeden kullanmayın.

Daha büyük ve güncel modellerde halüsinasyon oranı genellikle daha düşüktür; ancak hiçbir model bu sorundan tamamen arınmış değildir.