Güvenlik ve Etik
Yapay Zekâ Güvenliği (AI Safety)
Yapay zekâ sistemlerinin güvenilir biçimde faydalı ve zararsız olmasını sağlama disiplini.
Yapay zekâ güvenliği, modellerin kötüye kullanımını sınırlamak, öngörülemeyen davranışları azaltmak ve sistemleri denetlenebilir kılmakla ilgilenir. Kırmızı takım testleri, içerik filtreleri, yetki sınırlama ve hizalama teknikleri bu alanın araçlarıdır. Ajanlar gerçek dünyada işlem yapmaya başladıkça pratik önemi hızla artmaktadır.
İlgili Terimler
Hizalama (Alignment)
Yapay zekâ sistemlerinin insan değer ve niyetlerine uygun davranmasını sağlama alanı.
Anayasal Yapay Zekâ (Constitutional AI)
Modelin yazılı ilkelere göre kendi çıktısını eleştirip düzeltmesine dayanan eğitim yöntemi.
Prompt Enjeksiyonu
Ortamdaki kötü niyetli metnin modelin asıl talimatlarını ele geçirmesi saldırısı.
RLHF (İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme)
Model çıktılarını insan tercihlerine göre hizalayan eğitim yöntemi.