Lazarus : quand une mise à jour du modèle cache un déclencheur
Les poids du modèle font partie de la chaîne d’approvisionnement d’un agent ; provenance et permissions doivent être examinées ensemble.
Au-delà de l’ASPM
Une AppSec fondée sur la preuve pour les équipes qui développent avec l’IA
Plexicus utilise AI Swarm Pentest pour explorer des chemins d’application autorisés, valider ce qui est exploitable et fournir les preuves nécessaires pour prioriser la remédiation.
Découvrir AI Swarm PentestLe 10 novembre, Microsoft Research a présenté Lazarus, une technique de recherche qui modifie un petit nombre de neurones pour qu’un déclencheur caché amène un agent à émettre une commande choisie par un attaquant. Les chercheurs contrôlaient les poids. C’est un résultat de laboratoire : Microsoft indique ne pas avoir observé son exploitation par des attaquants.
Le modèle et l’agent sont deux frontières
Le modèle produit du texte ; l’application autour de lui peut lui donner des effets. Si un agent traite une réponse comme une commande, elle s’exécute avec ses permissions et selon ses règles d’approbation.
Sur un modèle testé, les chercheurs décrivent une charge utilisant sept neurones et une activation d’au moins 98,8 % sur les trajectoires de test avec déclencheur. Ce chiffre concerne cette expérience, pas tous les modèles. L’attaque suppose de pouvoir modifier un checkpoint ; une simple instruction malveillante ne constitue pas cette modification des poids.
Preuves et contrôles
| Frontière | Preuve à conserver | Réponse |
|---|---|---|
| Provenance | Éditeur, modèle de base, empreinte et origine | Vérifier les empreintes et limiter le remplacement du modèle. |
| Poids | Comparaison versionnée avec une base fiable | Examiner les anomalies ; un contrôle réussi ne garantit pas la sécurité. |
| Exécution | Permissions, approbations et traces | Limiter fichiers, shell et réseau ; approuver les actions importantes. |
| Application | Révision du code, dépendances et déploiement | Examiner les flux qui relient le modèle aux outils privilégiés. |
L’auditeur expérimental a identifié 91,4 % des checkpoints modifiés réservés au test, avec 9,7 % de faux positifs dans l’évaluation décrite. Ce n’est pas une garantie en production. Les recommandations Microsoft préconisent aussi des contrôles indépendants et le moindre privilège.
Diagramme original de l’architecture PyRIT, un outil de test de sécurité IA ; il ne montre pas de détection Lazarus. Source: Microsoft PyRIT, pinned revision. Copyright Microsoft Corporation; MIT License.
Le rôle de Plexicus
Plexicus décrit des tests d’application fondés sur des preuves et des flux de remédiation pour les résultats applicatifs. Ils peuvent aider à examiner le code et les flux autour d’un agent. Cela n’établit pas que Plexicus analyse les poids de modèles ou détecte Lazarus. La provenance et l’audit des poids nécessitent leurs propres responsables.
