Lazarus: cuando una actualización del modelo oculta un activador
Los pesos del modelo forman parte de la cadena de suministro del agente; la procedencia y los permisos deben revisarse juntos.
Más allá de ASPM
AppSec basada en pruebas para equipos que desarrollan con IA
Plexicus usa AI Swarm Pentest para explorar rutas de aplicaciones autorizadas, validar qué es explotable y dar a los equipos evidencia para priorizar la remediación.
Explorar AI Swarm PentestEl 10 de noviembre, Microsoft Research presentó Lazarus, una técnica de investigación que modifica un pequeño número de neuronas para que un activador oculto haga que un agente emita un comando elegido por el atacante. Los investigadores controlaban los pesos en sus experimentos. Es un resultado de laboratorio: Microsoft afirma que no ha observado su uso por actores maliciosos.
El límite incluye al modelo y al agente
El modelo produce texto; el entorno del agente puede darle consecuencias. Si la aplicación trata una respuesta como un comando, este se ejecuta con los permisos concedidos al agente. El resultado depende también de la aplicación y de sus aprobaciones.
En un modelo probado, los investigadores describen una carga de siete neuronas y una activación de al menos el 98,8 % en trayectorias de prueba con el activador. La cifra pertenece a ese experimento y no se puede extender a todos los modelos. El ataque requiere poder modificar un checkpoint; un prompt malicioso por sí solo no equivale a esa modificación.
Evidencias y controles
| Límite | Evidencia | Respuesta |
|---|---|---|
| Procedencia | Editor, modelo base, hash y origen | Verificar hashes y limitar quién reemplaza el modelo. |
| Pesos | Comparación versionada con una base fiable | Investigar anomalías sin tratar un resultado limpio como garantía. |
| Ejecución | Permisos, aprobaciones y trazas | Limitar archivos, shell y red; exigir aprobación para acciones importantes. |
| Aplicación | Revisión, dependencias y despliegue | Revisar el código que conecta el modelo con herramientas privilegiadas. |
El auditor experimental identificó el 91,4 % de los checkpoints modificados reservados para prueba, con una tasa de falsos positivos del 9,7 % en la evaluación descrita. No es una garantía de detección en producción. La guía de Microsoft recomienda controles independientes y privilegios mínimos.
Diagrama original de la arquitectura de PyRIT, un framework de pruebas de seguridad de IA; no muestra una detección de Lazarus. Source: Microsoft PyRIT, pinned revision. Copyright Microsoft Corporation; MIT License.
Dónde encaja Plexicus
Plexicus describe pruebas de aplicaciones basadas en evidencia y flujos de remediación para hallazgos de aplicaciones. Pueden apoyar la revisión del código y los flujos que rodean al agente. Esto no establece que Plexicus analice pesos de modelos ni detecte Lazarus. La procedencia, la revisión de pesos y la decisión de despliegue necesitan responsables propios.
