İçeriğe geç
parazade
Yapay Zeka

Sistem Kartı Nedir?

İngilizce: System Card

Yayın: · Son güncelleme:

Sistem Kartı Nedir? Kısaca

Sistem kartı (system card), bir yapay zekâ modelinin yalnızca kendisini değil, kullanıma sunulduğu sistemin tamamını anlatan; güvenlik değerlendirmelerini, tespit edilen riskleri ve alınan önlemleri açıklayan kapsamlı bir belgedir.

Sistem Kartı nedir?
İçindekiler
  1. Sistem kartı nedir?
  2. Sistem kartında neler bulunur?
  3. Nasıl okunmalı?

Sistem kartı, model kartı fikrinin genişletilmiş bir hâli olarak görülebilir. Büyük yapay zekâ geliştiricileri yeni bir model yayımladığında çoğu zaman uzun bir sistem kartı da paylaşır.

Sistem kartı nedir?

Gerçek dünyada kullanıcılar çıplak bir modelle değil, bir sistemle etkileşime girer. Bu sistemde modelin yanında sistem talimatları, içerik filtreleri, araçlar ve kullanım politikaları da bulunur. Sistem kartı, bu bütünün nasıl davrandığını ve hangi risklere karşı nasıl önlem alındığını anlatır.

Sistem kartında neler bulunur?

  • Modelin yetenekleri ve amaçlanan kullanım alanları
  • Eğitim süreci ve verisine dair genel bilgiler
  • Güvenlik değerlendirmeleri: zararlı içerik, siber güvenlik, biyolojik riskler gibi alanlarda yapılan testler
  • Kırmızı takım çalışmaları, yani modelin kasıtlı olarak zorlanarak açıklarının arandığı testler
  • Halüsinasyon, önyargı ve dalkavukluk gibi davranışsal sorunlara ilişkin ölçümler
  • Alınan önlemler ve hâlâ devam eden sınırlamalar

Nasıl okunmalı?

Sistem kartları teknik ve uzun belgeler olabilir. Kullanıcı olarak özellikle "sınırlamalar" ve "riskler" bölümlerine bakmak faydalıdır; modelin hangi konularda hata yapabileceğini anlamana yardım eder.

Unutma ki sistem kartı geliştiricinin kendi raporudur. Bağımsız araştırmacıların değerlendirmeleri ve kendi deneyimin de en az bu belge kadar önemlidir. Kart, modelin her durumda güvenli olduğunu kanıtlamaz; yalnızca neyin test edildiğini gösterir.

Sıkça Sorulan Sorular

Sistem kartı ile model kartı arasındaki fark nedir?

Model kartı esas olarak modelin kendisine odaklanır. Sistem kartı ise modelin içinde çalıştığı ürün ve güvenlik önlemleri dahil tüm sistemi, özellikle risk değerlendirmeleriyle birlikte anlatır.

Sistem kartını kim hazırlar?

Genellikle modeli geliştiren kurum hazırlar ve modelin yayımlanmasıyla birlikte paylaşır. Bu nedenle bağımsız değerlendirmelerle birlikte okunması önerilir.

İlgili terimler

Model Kartı(Model Card)Model kartı (model card), bir makine öğrenmesi modelinin ne için geliştirildiğini, hangi verilerle eğitildiğini, nasıl değerlendirildiğini, hangi sınırlara ve risklere sahip olduğunu özetleyen kısa ve standart bir belgedir.Yapay Zekâ Güvenliği(AI Safety)Yapay zekâ güvenliği, yapay zekâ sistemlerinin insanlara ve topluma zarar vermeden, tasarlandığı amaca uygun, öngörülebilir ve insan denetiminde kalacak şekilde geliştirilmesini ve kullanılmasını amaçlayan araştırma ve uygulama alanıdır.Yapay Zekâ Hizalaması(AI Alignment)Yapay zekâ hizalaması (AI alignment), yapay zekâ sistemlerinin hedeflerinin ve davranışlarının insanların gerçek niyetleri, değerleri ve güvenlik beklentileriyle uyumlu olmasını sağlamaya yönelik araştırma ve uygulama alanıdır.Korkuluk(Guardrails)Korkuluk (guardrails), bir yapay zekâ sisteminin girdilerini ve çıktılarını denetleyerek zararlı, hatalı, gizli bilgi içeren ya da kapsam dışı yanıtlar üretmesini önlemeye yönelik kurallar, filtreler ve kontrol mekanizmalarının bütünüdür.Halüsinasyon(Hallucination)Yapay zekâ halüsinasyonu, bir dil modelinin gerçekte var olmayan ya da yanlış bir bilgiyi akıcı ve kendinden emin bir dille doğruymuş gibi sunmasıdır. Uydurma kaynaklar, hatalı rakamlar ve var olmayan özellikler en sık görülen örneklerdir.Dalkavukluk(Sycophancy)Dalkavukluk (sycophancy), yapay zekâda bir dil modelinin doğru ya da dengeli olanı söylemek yerine kullanıcının görüşlerine katılma, onu övme ve duymak istediği cevabı verme eğilimidir. Hatalı bilgilerin onaylanmasına yol açabilir.