Güvenlik ve Etik
Hizalama (Alignment)
Yapay zekâ sistemlerinin insan değer ve niyetlerine uygun davranmasını sağlama alanı.
Hizalama, bir modelin yalnızca yetenekli değil, aynı zamanda istenen şekilde davranmasını sağlamakla ilgilenir: yardımcı olmak, zarar vermemek, dürüst olmak. Talimat ayarı, RLHF ve anayasal yapay zekâ bu alandaki başlıca tekniklerdir. Model güçlendikçe hizalamanın önemi artar.
İlgili Terimler
RLHF (İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme)
Model çıktılarını insan tercihlerine göre hizalayan eğitim yöntemi.
Anayasal Yapay Zekâ (Constitutional AI)
Modelin yazılı ilkelere göre kendi çıktısını eleştirip düzeltmesine dayanan eğitim yöntemi.
Prompt Enjeksiyonu
Ortamdaki kötü niyetli metnin modelin asıl talimatlarını ele geçirmesi saldırısı.
Yapay Zekâ Güvenliği (AI Safety)
Yapay zekâ sistemlerinin güvenilir biçimde faydalı ve zararsız olmasını sağlama disiplini.