Yapay Zekânın Verdiği Bilgiler Doğru mu? Halüsinasyonu Yakalama Yöntemleri

Yapay zekânın verdiği bilgiler çoğu zaman doğrudur, ama her zaman değil. Dil modelleri genel açıklamalarda ve iyi bilinen konularda güvenilir sonuç verebilir; rakam, tarih, isim, kaynak, alıntı ve güncel olaylarda ise emin bir dille yanlış bilgi üretebilir. Bu duruma halüsinasyon denir ve en tehlikeli yanı, yanlış cevabın doğru cevaptan görünüşte hiçbir farkı olmamasıdır.

Aşağıda halüsinasyonun neden ortaya çıktığını, hangi bilgi türlerinde daha sık görüldüğünü, "doğruluk oranı" sorusunun neden tek bir rakamla cevaplanamadığını ve yanlışı yakalamak için kullanabileceğiniz adım adım bir kontrol yöntemini anlatıyoruz.

Yapay zekâ neden yanlış bilgi verir?

Yapay zekâ yanlış bilgi verir, çünkü doğruyu bulmak için değil, en olası metni üretmek için eğitilmiştir. Bir dil modeli sorunuza cevap verirken bir veri tabanında arama yapmaz; eğitim sırasında gördüğü milyonlarca metinden öğrendiği kalıplara göre kelime kelime bir metin oluşturur. Sık geçen ve tutarlı bilgilerde bu kalıplar genellikle doğru sonuca götürür.

Az bilinen bir konuda, nadir bir isimde ya da çok özel bir rakamda ise model "olması muhtemel" bir cevap üretir. Bu cevap gerçeğe yakın olabilir, ama tamamen uydurma da olabilir. Halüsinasyon dediğimiz durum budur: model yalan söylemez, çünkü bir niyeti yoktur; yalnız istatistiksel olarak makul görünen ama gerçekte yanlış olan bir metin üretir.

Bir başka neden de modelin sizi memnun etme eğilimidir. Soruyu belli bir cevabı bekleyerek sorduğunuzda model o cevaba doğru kayabilir. Örneğin "Bu yatırımın neden iyi olduğunu açıkla" demek, modeli olumsuz yanları atlamaya iter. Bu eğilime dalkavukluk deniyor ve soruyu tarafsız sormak bu riski azaltır.

Hangi bilgilerde daha sık yanılır?

Yanılma riski, bilginin türüne göre büyük ölçüde değişir. Kavram açıklamak ve genel çerçeve çizmek nispeten güvenlidir; kesin ve kontrol edilebilir ayrıntılar ise risklidir.

Bilgi türü	Risk	Neden	Ne yapmalı
Kavram açıklaması	Düşük	Çok sayıda tutarlı kaynakta geçer	Önemli kararlarda yine de bir kaynağa bakın
Tarih ve rakam	Yüksek	Model yakın değerleri karıştırabilir	Resmî kaynakta doğrulayın
Akademik kaynak, kitap adı	Çok yüksek	Gerçek görünen uydurma başlık üretebilir	Veri tabanında tek tek arayın
Kişiler hakkında bilgi	Yüksek	Benzer isimleri karıştırabilir, uydurma alıntı yapabilir	Güvenilir haber ya da resmî kaynağa bakın
Güncel olaylar	Yüksek	Bilgi kesim tarihinden sonrasını bilmez	Tarihli haber kaynağı kullanın
Mevzuat, vergi, oran	Yüksek	Sık değişir, ülkeye göre farklıdır	Resmî kurumun sitesine bakın
Uzun hesaplar	Orta	Adımlardan birinde işlem hatası olabilir	Hesabı tabloda tekrar yapın

Güncel bilgide sorun ayrıca belirgindir. Modelin bilgisi bilgi kesim tarihi denen bir noktada donar; o tarihten sonra çıkan bir yasayı, değişen bir faiz oranını ya da yeni bir ürünü kendiliğinden bilmez. Bilmediğini söylemek yerine eski bilgiyi güncelmiş gibi sunabilir.

Yapay zekânın doğruluk oranı nedir?

Tek bir doğruluk oranı yoktur ve size tek bir rakam veren kaynağa temkinli yaklaşmak gerekir. Doğruluk oranı, belirli bir test kümesinde doğru cevapların oranıdır; hangi modelin, hangi soru türüyle, hangi dilde ve hangi ayarlarla test edildiğine göre çok farklı sonuçlar çıkar. Bir model ansiklopedik sorularda yüksek, kaynak gösterme ya da yerel mevzuat sorularında çok daha düşük başarı gösterebilir.

Şirketler yeni modellerini tanıtırken çeşitli testlerdeki puanları paylaşır ve yeni modellerin halüsinasyon oranının düştüğünü söyler. Bu iyileşme gerçektir, ama test sorularının sizin sorunuza benzediğinin garantisi yoktur. Türkçe ve Türkiye'ye özgü konular, bu testlerde genellikle küçük bir yer tutar.

Pratikte işe yarayan soru, "bu model yüzde kaç doğru?" değil, "bu cevaptaki hangi bilgi yanlışsa bana zarar verir?" sorusudur. Bir tarif önerisindeki küçük bir hata ile bir ilaç dozundaki ya da vergi beyanındaki hata aynı ağırlıkta değildir. Modellerin genel özelliklerini karşılaştırmak isterseniz yapay zekâ modelleri karşılaştırması yazısına bakabilirsiniz.

Bir halüsinasyon örneği: adım adım

Somut bir senaryo, kontrolün nasıl yapılacağını gösterir. Küçük bir işletme sahibi olan Ayşe, internet araması kapalı bir sohbet aracına "e-ticarette cayma hakkı kaç gündür ve hangi kanunda düzenlenir?" diye soruyor (senaryo örnek amaçlıdır).

Cevap düzgün ve emin bir dille yazılmış: bir gün sayısı, bir kanun adı, bir de madde numarası var. Ayşe bu bilgiyi web sitesindeki iade sayfasına koymadan önce kontrol etmeye karar veriyor.

Kanun adını resmî mevzuat sitesinde arıyor ve kanunun gerçekten var olduğunu görüyor. Ancak modelin verdiği madde numarası başka bir konuyu düzenliyor; cayma hakkıyla ilgili ayrıntılar ise ayrı bir yönetmelikte yer alıyor.

Bu örnekte cevabın bir kısmı doğru, bir kısmı yanlış ve bir kısmı eksik. Tipik bir halüsinasyon tablosu böyle görünür: tamamen uydurma değil, gerçek bilgilerle karışık. Ayşe kontrol etmeseydi yanlış madde numarası müşterilerinin göreceği bir sayfada yer alacaktı. Kontrol toplam on dakika sürdü.

Yapay zekânın en sık yaptığı hatalar

Yapay zekânın hataları belli tiplerde toplanır ve bu tipleri tanımak, kontrolü hızlandırır. Her cevabı baştan sona şüpheyle okumak yerine, aşağıdaki hata türlerinin görülebileceği yerlere odaklanabilirsiniz.

Uydurma kaynak ve alıntı. Model, gerçek bir yazara ait olmayan bir sözü ona mal edebilir ya da var olmayan bir kitabı, makaleyi veya haberi kaynak gösterebilir. Alıntılarda tırnak içindeki cümleyi aynen arattığınızda hiçbir sonuç çıkmıyorsa dikkatli olun.

Karıştırılmış ayrıntı. İki benzer kişi, iki yakın tarih ya da iki benzer kurum birbirine karışabilir. Bir şehrin nüfusunu başka bir şehrinkiyle, bir kanunun maddesini başka bir kanununkiyle karıştırmak bu türden hatalardır.

Eskimiş bilgi. Bir zamanlar doğru olan ama değişmiş bilgiler, güncelmiş gibi sunulabilir. Bir uygulamanın eski menü adı, eski bir fiyat ya da yürürlükten kalkmış bir kural tipik örneklerdir.

Eksik bağlam. Cevap teknik olarak doğru olsa da sizin durumunuzu etkileyen bir istisnayı atlayabilir. Türkiye'deki kuralı soran birine başka bir ülkenin genel uygulamasını anlatmak da bu gruba girer.

Hesap hatası. Çok adımlı hesaplarda bir ara sonuç yanlış hesaplanır ve hata sonuna kadar taşınır. Hesap yolunu doğru anlatıp sonucu yanlış vermek de mümkündür.

Halüsinasyonu yakalamak için kontrol yöntemi

Halüsinasyonu yakalamanın en etkili yolu, cevaptaki kontrol edilebilir bilgileri ayırıp tek tek doğrulamaktır. Bu işlem kulağa uzun gelse de çoğu cevapta birkaç dakika sürer.

1. Kontrol edilebilir bilgileri işaretleyin. Cevaptaki rakamları, tarihleri, isimleri, kurum adlarını, kaynakları ve alıntıları ayırın.
2. Birincil kaynağa gidin. Mevzuat için resmî mevzuat sitesine, istatistik için ilgili resmî kuruma, ürün bilgisi için üreticinin sitesine bakın.
3. Kaynak bağlantısını açın. Araç kaynak gösterdiyse sayfayı açıp bilginin gerçekten orada yazıp yazmadığını kontrol edin.
4. Soruyu farklı biçimde sorun. Aynı soruyu yeni bir sohbette başka kelimelerle sorun; cevaplar değişiyorsa bilgi güvenilir değildir.
5. Modelden emin olmadığı yerleri isteyin. "Bu cevapta hangi bilgilerden emin değilsin?" diye sormak, zayıf noktaları görmenize yardım edebilir.
6. İki bağımsız kaynak arayın. Önemli bir bilgiyi birbirinden bağımsız iki güvenilir kaynakta görmeden kullanmayın.

Bu adımlara genel olarak doğruluk kontrolü denir ve gazetecilerin yıllardır kullandığı yöntemlerle aynıdır. Fark, yapay zekâ cevabında hangi bilginin kontrol gerektirdiğini sizin seçmeniz gerektiğidir.

Kaynak gösteren araçlar daha mı güvenilir?

Kaynak gösteren araçlar genellikle daha güvenilirdir, ama kör güven gerektirmez. Bu araçlar önce internette ya da bir veri tabanında arama yapar, sonra cevabını bulduğu metinlere dayandırır; bu yaklaşıma RAG denir. Cevabı bir bağlantıya bağladıkları için kontrol etmek kolaylaşır.

Yine de iki risk vardır. Araç düşük kaliteli ya da yanlış bilgi içeren bir sayfayı kaynak alabilir; bir forum yorumu ya da reklam amaçlı bir içerik, resmî bir kaynak kadar ağırlık görebilir. Ya da sayfadaki bilgiyi doğru bulup yanlış özetleyebilir, örneğin bir istisnayı genel kural gibi sunabilir.

Bağlantıyı açıp ilgili cümleyi kendiniz okumak bu iki riski de ortadan kaldırır. Akademik kaynaklar için ayrıntılı yöntemi yapay zekâ ile literatür taraması yazısında anlattık.

Görsel ve seste yanıltıcı içerik

Yanlış bilgi yalnız metinle sınırlı değildir. Yapay zekâyla üretilmiş fotoğraflar, videolar ve ses kayıtları da gerçek gibi görünebilir. Deepfake denen bu içerikler bazen eğlence amaçlıdır, bazen de bilinçli olarak yanıltmak için hazırlanır ve dezenformasyon kampanyalarında kullanılır.

Şüpheli bir görselin kaynağını bulmak için tersine görsel arama kullanabilirsiniz; görselin ilk nerede ve hangi tarihte yayımlandığını görmek çoğu zaman yeterli ipucu verir. Bir yakınınızın sesiyle gelen acil para talebi gibi durumlarda ise karşı tarafı bildiğiniz numaradan geri arayın. Bu tür dolandırıcılık işaretlerini dolandırıcılık mesajları nasıl anlaşılır yazısında topladık.

Hangi işte ne kadar güvenebilirsiniz?

Güven düzeyini, hatanın size maliyetine göre ayarlamak en pratik yaklaşımdır. Bir e-postanın tonunu düzeltmek, bir konuyu ilk kez anlamak ya da bir toplantı için fikir listesi çıkarmak gibi işlerde küçük bir hata büyük sorun yaratmaz. Bu tür işlerde yapay zekâ çok zaman kazandırır.

Sağlık, hukuk, vergi ve yatırım gibi alanlarda ise yapay zekâ cevabı bir başlangıç noktasıdır, son söz değildir. Bir ilacın dozu, bir sözleşme maddesi ya da bir beyanname tutarı konusunda modelin cevabını bir uzmana ya da resmî kaynağa danışmadan uygulamayın. Modelin genel sınırları için yapay zekânın sınırlılıkları yazısına, gündelik kullanım fikirleri için ChatGPT ile neler yapılabilir yazısına bakabilirsiniz.

Soruyu nasıl sorduğunuz da doğruluğu etkiler. Bağlam vermek, tarafsız sormak ve "emin değilsen belirt" demek, cevabın kalitesini artırır. "Kaynak göster ve kaynakta olmayan bilgiyi ekleme" gibi bir talimat da, araç arama yapabiliyorsa işe yarar.

Bir sonraki sorunuzda deneyin

Bir sonraki sefer yapay zekâya önemli bir soru sorduğunuzda, cevabı aldıktan sonra içindeki rakamları, tarihleri ve isimleri bir kalemle işaretleyin. Her birinin yanına "kontrol ettim" ya da "kontrol etmedim" yazın ve kontrol etmediklerinizi kullanmadan önce birincil kaynağa bakın.

Bunu bir hafta boyunca yapın ve kaç cevapta en az bir hatalı ayrıntı bulduğunuzu not edin. Bu küçük deney, hangi konularda yapay zekâya rahatça güvenebileceğinizi ve hangilerinde yavaşlamanız gerektiğini kendi kullanımınıza göre gösterir.