Güvenlik ve Etik
Prompt Enjeksiyonu
Ortamdaki kötü niyetli metnin modelin asıl talimatlarını ele geçirmesi saldırısı.
Prompt enjeksiyonu, modelin okuduğu bir belgeye, web sayfasına ya da kullanıcı girdisine gizlenmiş talimatların, sistem promptunu geçersiz kılmaya çalışmasıdır. Dış içerik okuyan ve araç kullanan ajanlar için ciddi bir güvenlik riskidir. Tam bir çözümü yoktur; yetki sınırlama, çıktı doğrulama ve kritik işlemlerde onay isteme ile yönetilir.
İlgili Terimler
Yapay Zekâ Ajanı (AI Agent)
Bir hedefe ulaşmak için kendi başına adım atan, araç kullanan LLM tabanlı sistem.
Hizalama (Alignment)
Yapay zekâ sistemlerinin insan değer ve niyetlerine uygun davranmasını sağlama alanı.
Sistem Promptu
Konuşmadan önce gönderilen, modelin davranışını ve rolünü belirleyen talimat bloğu.
Temellendirme (Grounding)
Model cevaplarını doğrulanmış, gerçek kaynaklara bağlamak.