Seguridad y Ética
Inyección de Prompt
Ataque en el que texto malicioso del entorno anula las instrucciones del modelo.
La inyección de prompt ocurre cuando instrucciones ocultas en un documento, una página web o la entrada del usuario intentan sobrescribir el prompt de sistema. Es un riesgo serio para los agentes que leen contenido externo y usan herramientas. No tiene una solución completa: se gestiona limitando permisos, validando salidas y pidiendo confirmación en operaciones críticas.
Términos Relacionados
Agente de IA
Sistema basado en un LLM que actúa de forma autónoma para lograr un objetivo.
Alineamiento
Campo dedicado a que los sistemas de IA se comporten conforme a los valores humanos.
Prompt de Sistema
Bloque de instrucciones enviado antes de la conversación que configura el comportamiento del modelo.
Anclaje (Grounding)
Conectar las respuestas del modelo con fuentes reales y verificadas.