İçeriğe geç
parazade
Yapay Zeka

Prompt Enjeksiyonu Nedir?

İngilizce: Prompt Injection

Yayın: · Son güncelleme:

Prompt Enjeksiyonu Nedir? Kısaca

Prompt enjeksiyonu, bir yapay zekâ uygulamasına kullanıcı girdisi, web sayfası ya da belge içine gizlenmiş talimatlar yerleştirerek modelin asıl kurallarını devre dışı bırakmayı amaçlayan bir güvenlik saldırısıdır.

Prompt Enjeksiyonu nedir?
İçindekiler
  1. Neden ortaya çıkar?
  2. Riskler
  3. Nasıl korunulur?

Prompt enjeksiyonu, dil modeli kullanan uygulamaları hedef alan bir güvenlik açığı türüdür. Saldırgan, modelin işlediği metnin içine kendi talimatlarını yerleştirir; model de bu talimatları geliştiricinin kurallarından ayırt edemezse yanlış davranabilir. OWASP'ın büyük dil modeli uygulamaları için hazırladığı risk listesinde de öne çıkan başlıklardan biridir.

Neden ortaya çıkar?

Dil modelleri talimatı ve veriyi aynı metin akışında işler. Klasik yazılımda kod ile veri birbirinden ayrılabilirken burada bu ayrım kesin değildir. İki ana türden söz edilir:

  • Doğrudan enjeksiyon: Kullanıcı sohbet kutusuna modelin kurallarını geçersiz kılmaya çalışan bir metin yazar.
  • Dolaylı enjeksiyon: Talimat, modelin okuduğu bir web sayfasına, e-postaya ya da belgeye gizlenir. Kullanıcı farkında bile olmayabilir.

Riskler

Özellikle araç kullanabilen yapay zekâ ajanları için risk büyüktür. Başarılı bir saldırı; gizli bilgilerin sızdırılmasına, yanlış ya da yanıltıcı cevaplara, kullanıcı adına istenmeyen işlemler (e-posta gönderme, dosya silme gibi) yapılmasına yol açabilir.

Nasıl korunulur?

Tek bir kesin çözüm yoktur; katmanlı önlemler önerilir:

  • Modele yalnızca işi için gereken en az yetkiyi ver.
  • Ödeme, silme, gönderme gibi kritik işlemlerde insan onayı iste.
  • Dış kaynaklardan gelen içeriği güvenilmeyen veri olarak işaretle ve ayrı tut.
  • Gizli anahtarları ve hassas verileri sistem promptu içine koyma.
  • Girdi ve çıktıları izle, şüpheli davranışları kaydet ve düzenli güvenlik testleri yap.

Kullanıcı olarak da yapay zekâ asistanına bağladığın e-posta, dosya ve hesap izinlerini sınırlı tutmak riski azaltır.

Sıkça Sorulan Sorular

Prompt enjeksiyonu ile jailbreak aynı şey mi?

Yakın kavramlardır ama aynı değildir. Jailbreak genellikle modelin kendi güvenlik kurallarını aşmaya yöneliktir; prompt enjeksiyonu ise bir uygulamanın talimatlarını, çoğu zaman üçüncü taraf içerik yoluyla, ele geçirmeyi hedefler.

Prompt enjeksiyonu tamamen engellenebilir mi?

Bugün için kesin bir çözüm kabul edilmiyor. Riskler en az yetki, insan onayı, içerik ayrıştırma ve sürekli izleme gibi katmanlı önlemlerle azaltılır.

İlgili terimler

JailbreakYapay zekâda jailbreak, bir dil modelinin güvenlik kurallarını ve kullanım politikalarını aşarak normalde reddedeceği zararlı ya da yasak içerikleri üretmesini sağlamaya yönelik girişimlerin genel adıdır.Sistem Promptu(System Prompt)Sistem promptu, bir yapay zekâ sohbetinin başında modele verilen ve rolünü, üslubunu, kurallarını ve sınırlarını belirleyen arka plan talimatıdır. Kullanıcı mesajlarından önce gelir ve tüm konuşmanın çerçevesini çizer.Yapay Zekâ Ajanı(AI Agent)Yapay zekâ ajanı (AI agent), bir hedef verildiğinde görevi adımlara bölen, araç ve hizmetleri kullanarak bu adımları kendisi yürüten, sonuçlara göre planını güncelleyen yapay zekâ sistemidir. Genellikle bir büyük dil modeli üzerine kurulur.Araç Çağırma(Function Calling)Araç çağırma (function calling ya da tool use), bir dil modelinin kendi başına yapamayacağı işler için tanımlı bir dış aracı, fonksiyonu ya da API'yi hangi parametrelerle çağıracağını yapılandırılmış biçimde (genellikle JSON) belirtmesidir.PromptPrompt (istem), bir yapay zekâ modeline ne yapmasını istediğinizi anlatan metindir; bir soru, talimat, örnek ya da bunların birleşimi olabilir. Modelin cevabının kalitesi büyük ölçüde promptun ne kadar açık ve ayrıntılı yazıldığına bağlıdır.Büyük Dil Modeli(Large Language Model)Büyük dil modeli (LLM), çok büyük miktarda metinle eğitilen ve bir metnin devamında hangi parçanın geleceğini tahmin ederek yazı üreten yapay zekâ modelidir. Sohbet asistanları, kod yardımcıları ve özetleme araçlarının temelinde bu modeller bulunur.