İçeriğe geç
parazade
Yapay Zeka

Yorumlanabilirlik Nedir?

İngilizce: Interpretability

Yayın: · Son güncelleme:

Yorumlanabilirlik Nedir? Kısaca

Yorumlanabilirlik (interpretability), bir yapay zekâ modelinin belirli bir çıktıyı neden ve nasıl ürettiğini insanların anlayabilmesi ve bu amaçla modelin iç işleyişini inceleyen yöntemlerin ve araştırma alanının genel adıdır.

Yorumlanabilirlik nedir?
İçindekiler
  1. Yorumlanabilirlik nedir?
  2. Neden önemlidir?
  3. Sınırları

Derin öğrenme modelleri milyonlarca ya da milyarlarca parametreden oluşur ve kararlarının nasıl oluştuğu dışarıdan bakınca anlaşılmaz. Bu durum kara kutu problemi olarak bilinir. Yorumlanabilirlik bu kutuyu aralamaya çalışır.

Yorumlanabilirlik nedir?

Yorumlanabilirlik iki düzeyde ele alınabilir:

  • Doğası gereği yorumlanabilir modeller: Karar ağaçları ya da doğrusal regresyon gibi modellerin mantığı doğrudan okunabilir.
  • Sonradan yorumlama: Karmaşık modellerin kararları, ek yöntemlerle analiz edilir.

Sık kullanılan yöntemler şunlardır:

  • Özellik önem analizi: SHAP ve LIME gibi yöntemler, bir tahminde hangi girdinin ne kadar etkili olduğunu gösterir.
  • Görsel dikkat haritaları: Bir görüntü modelinin karar verirken görselin hangi bölgelerine odaklandığını işaretler.
  • Mekanistik yorumlanabilirlik: Sinir ağının içindeki nöronları ve devreleri inceleyerek modelin hangi kavramları nasıl temsil ettiğini çözmeye çalışır.

Neden önemlidir?

  • Güven: Kredi, sağlık ya da işe alım gibi alanlarda bir kararın gerekçesini bilmek gerekir.
  • Hata ayıklama: Modelin yanlış bir ipucuna dayanıp dayanmadığı anlaşılabilir.
  • Önyargı tespiti: Modelin yaş ya da cinsiyet gibi hassas özelliklere dolaylı olarak dayanıp dayanmadığı ortaya çıkarılabilir.
  • Güvenlik: Büyük modellerde istenmeyen davranışları anlamak ve önlemek için önemlidir.

Sınırları

Yorumlama yöntemlerinin kendisi de yaklaşıktır; ikna edici görünen bir açıklama modelin gerçek mantığını tam yansıtmayabilir. Yorumlanabilirlik, açıklanabilir yapay zekâ ile yakından ilişkilidir ve hâlâ hızla gelişen bir alandır.

Sıkça Sorulan Sorular

Yorumlanabilirlik ile açıklanabilirlik aynı şey mi?

Sık birbirinin yerine kullanılır. Yorumlanabilirlik daha çok modelin iç işleyişini anlamaya, açıklanabilirlik ise bir kararın gerekçesini kullanıcıya anlaşılır biçimde sunmaya vurgu yapar.

Büyük dil modelleri yorumlanabilir mi?

Kısmen. Araştırmacılar bazı iç kavramları ve devreleri tespit edebiliyor, ancak büyük modellerin işleyişinin tamamını anlamak henüz mümkün değil; bu, aktif bir araştırma alanıdır.

İlgili terimler

Açıklanabilir Yapay Zekâ(Explainable AI)Açıklanabilir yapay zekâ (explainable AI, XAI), bir yapay zekâ modelinin verdiği kararın ya da tahminin hangi etkenlere dayandığını insanların anlayabileceği biçimde ortaya koyan yöntem ve yaklaşımların genel adıdır.Kara Kutu Problemi(Black Box Problem)Kara kutu problemi, özellikle derin öğrenme modellerinin bir girdiden nasıl bir karara ulaştığının insanlar tarafından anlaşılmasının ve açıklanmasının zor olması sorunudur. Güven, hesap verebilirlik ve hata ayıklama açısından önemli riskler doğurur.SHAPSHAP (SHapley Additive exPlanations), bir makine öğrenmesi modelinin verdiği tek bir tahminde her girdi özelliğinin sonuca ne kadar katkı yaptığını, oyun teorisindeki Shapley değerlerine dayanarak hesaplayan bir açıklama yöntemidir.LIMELIME (Local Interpretable Model-agnostic Explanations), karmaşık bir makine öğrenmesi modelinin tek bir tahminini, o tahminin yakın çevresinde kurulan basit ve yorumlanabilir bir modelle açıklayan, modelden bağımsız bir yöntemdir.Doğrusal Regresyon(Linear Regression)Doğrusal regresyon, bir hedef değişkeni bir ya da daha fazla bağımsız değişkenin ağırlıklı toplamı ve bir sabitle tahmin eden, ağırlıkları genellikle hata karelerinin toplamını en aza indirerek bulan temel bir istatistik ve makine öğrenmesi yöntemidir.Özellik(Feature)Özellik (feature), makine öğrenmesinde her bir örneği tanımlayan ve modelin tahmin yaparken girdi olarak kullandığı ölçülebilir nitelik ya da değişkendir. Örneğin ev fiyatı tahmininde metrekare, oda sayısı ve konum birer özelliktir.