İçeriğe geç
parazade
Yapay Zeka

Korkuluk Nedir?

İngilizce: Guardrails

Yayın: · Son güncelleme:

Korkuluk Nedir? Kısaca

Korkuluk (guardrails), bir yapay zekâ sisteminin girdilerini ve çıktılarını denetleyerek zararlı, hatalı, gizli bilgi içeren ya da kapsam dışı yanıtlar üretmesini önlemeye yönelik kurallar, filtreler ve kontrol mekanizmalarının bütünüdür.

Korkuluk nedir?
İçindekiler
  1. Korkuluk nedir?
  2. Korkuluk ne demek, örnekle
  3. Nelere dikkat etmeli?

Korkuluk ifadesi, yol kenarındaki bariyerlerden gelir: aracı yoldan çıkmaktan korur ama sürüşün yerini almaz. Yapay zekâda da korkuluklar modelin "yoldan çıkmasını" sınırlamayı amaçlar.

Korkuluk nedir?

Bir dil modeli eğitimi sırasında belirli davranışları öğrenir, ancak her durumda istenen şekilde davranacağının garantisi yoktur. Korkuluklar, modelin etrafına eklenen ek kontrol katmanlarıdır. Tipik olarak üç noktada çalışırlar:

  • Girdi kontrolü: Kullanıcı mesajında zararlı istek, kişisel veri ya da prompt enjeksiyonu girişimi olup olmadığına bakılır.
  • Çıktı kontrolü: Modelin cevabı kullanıcıya gitmeden önce zararlı içerik, gizli bilgi sızıntısı ya da istenen biçime uymama açısından denetlenir.
  • Eylem kontrolü: Ajan sistemlerinde, para transferi ya da dosya silme gibi riskli işlemler için onay istenir veya yetkiler sınırlandırılır.

Korkuluk ne demek, örnekle

Varsayımsal bir banka müşteri asistanı düşün. Korkuluklar; asistanın yalnızca bankacılık konularında konuşmasını, kart numaralarını ekrana yazmamasını ve yatırım tavsiyesi vermemesini sağlayabilir. Bu kurallar sistem talimatıyla, ayrı sınıflandırıcı modellerle ya da klasik kurallarla uygulanabilir.

Nelere dikkat etmeli?

  • Hiçbir korkuluk kusursuz değildir; kararlı kullanıcılar bazı kontrolleri aşmanın yollarını bulabilir. Bu yüzden katmanlı savunma gerekir.
  • Çok katı korkuluklar zararsız istekleri de reddederek kullanıcı deneyimini bozabilir.
  • Korkulukların etkinliği düzenli testlerle ölçülmelidir.

Korkuluklar, daha geniş yapay zekâ güvenliği çalışmalarının pratik bir parçasıdır.

Sıkça Sorulan Sorular

Yapay zekâda korkuluk ne demek?

Modelin zararlı, hatalı ya da kapsam dışı yanıtlar vermesini önlemek için girdileri, çıktıları ve eylemleri denetleyen kural ve filtrelerin genel adıdır. İngilizcede guardrails olarak geçer.

Korkuluklar modeli tamamen güvenli yapar mı?

Hayır. Riski azaltırlar ama ortadan kaldırmazlar. Bu yüzden korkuluklar, model eğitimi, izleme ve insan denetimi gibi diğer önlemlerle birlikte kullanılır.

İlgili terimler

Güvenlik Filtresi(Safety Filter)Güvenlik filtresi, bir yapay zekâ sistemine gelen istekleri ya da sistemin ürettiği metin, görsel ve sesleri zararlı içerik açısından tarayan; risk tespit ettiğinde içeriği engelleyen, değiştiren ya da uyarı veren bileşendir.İçerik Moderasyonu(Content Moderation)İçerik moderasyonu, bir platformdaki kullanıcı paylaşımlarının ya da yapay zekâ çıktılarının platform kurallarına ve yasalara uygunluğunu denetleyip uygun olmayanları kaldırma, sınırlama veya işaretleme sürecidir.Yapay Zekâ Güvenliği(AI Safety)Yapay zekâ güvenliği, yapay zekâ sistemlerinin insanlara ve topluma zarar vermeden, tasarlandığı amaca uygun, öngörülebilir ve insan denetiminde kalacak şekilde geliştirilmesini ve kullanılmasını amaçlayan araştırma ve uygulama alanıdır.Prompt Enjeksiyonu(Prompt Injection)Prompt enjeksiyonu, bir yapay zekâ uygulamasına kullanıcı girdisi, web sayfası ya da belge içine gizlenmiş talimatlar yerleştirerek modelin asıl kurallarını devre dışı bırakmayı amaçlayan bir güvenlik saldırısıdır.Dil Modeli(Language Model)Dil modeli, bir dizideki kelimelerin ya da token'ların olasılığını tahmin eden yapay zekâ modelidir. En yaygın biçimiyle, verilen metinden sonra hangi kelimenin gelme ihtimalinin yüksek olduğunu hesaplar. Otomatik tamamlama, çeviri ve sohbet asistanlarının temelinde dil modelleri bulunur.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.