Un agent IA devient risqué lorsqu’une réponse plausible peut déclencher une action non délimitée. Une conception responsable commence par le périmètre d’action : ce que l’agent peut lire, ce qu’il peut modifier, qui approuve les étapes sensibles et comment l’équipe peut l’arrêter. Ces huit contrôles s’appuient sur l’exemple hypothétique d’un agent d’assistance qui consulte du contenu d’aide approuvé, prépare des réponses et peut créer un ticket après vérification.
1. Définissez une liste explicite d’outils autorisés
Répertoriez chaque outil et sa finalité. Séparez les outils de lecture des outils d’écriture. L’agent d’assistance peut rechercher du contenu approuvé et consulter un ticket ; la création ou la clôture d’un élément, ainsi que tout remboursement, nécessitent une autorisation distincte.
2. Faites respecter les autorisations côté serveur
Ne comptez pas sur le prompt pour sécuriser une action. L’API doit vérifier l’identité, le tenant, le périmètre des enregistrements et l’opération. Utilisez des identifiants assortis du moindre privilège, jamais un jeton d’administrateur général.
3. Considérez le contenu des utilisateurs et des sources comme non fiable
Un message, une page web ou un document récupéré peut contenir des instructions destinées au modèle. Délimitez le texte provenant de sources, ignorez les instructions qu’il contient, validez les identifiants de manière indépendante et ne laissez jamais un texte récupéré redéfinir les autorisations.
4. Délimitez les limites, les nouvelles tentatives et les effets secondaires
Fixez des limites de temps, de coût et d’actions. Définissez les erreurs pour lesquelles une nouvelle tentative est autorisée. Utilisez des clés d’idempotence lors de la création de tickets afin qu’un délai d’attente suivi d’une nouvelle tentative ne génère pas de doublons. Une fois le nombre maximal de tentatives atteint, transmettez le travail à une personne.
5. Testez les scénarios hostiles et les défaillances
Incluez l’injection de prompts, les arguments non valides, les outils indisponibles, les sources obsolètes et les délais d’attente. Vérifiez que l’agent échoue de manière sécurisée, conserve la demande et n’invente pas la réussite d’une action.
6. Consignez les actions, pas le raisonnement privé
Conservez la demande, l’outil sélectionné, les arguments validés, le résultat, les références des sources, l’approbation et l’horodatage. Ces données facilitent les investigations. Les journaux ordinaires n’expliquent pas pourquoi un modèle a suivi un raisonnement interne donné et ne doivent pas recueillir de secrets inutiles.
7. Prévoyez une approbation et un transfert lorsque le jugement humain est nécessaire
Une personne doit approuver les remboursements, les modifications de comptes et les messages ayant des conséquences importantes. Le transfert doit inclure la demande, les sources, les actions tentées et les incertitudes, et pas seulement la mention « l’IA a échoué ».
8. Désignez un responsable et définissez une procédure d’arrêt
Désignez un responsable opérationnel, définissez des seuils d’alerte et mettez en place un mécanisme de désactivation testé. Conservez les tâches en attente afin qu’elles puissent être traitées manuellement et documentez la procédure de retour en arrière pour les écritures récentes. Réexaminez la configuration lorsque les modèles, les fournisseurs, les politiques ou les outils changent.
Le cadre volontaire de gestion des risques liés à l’IA du NIST constitue une référence utile pour structurer cette démarche. Il ne s’agit ni d’une certification ni d’une garantie. Pour un processus plus large de gestion des incidents, consultez la gouvernance éthique de l’IA pour les entreprises.