Ensembles de stratégies d'agent IA et cadre de gestion des risques AI de la NIST

Gouvernance : propriété et responsabilité

Définition des propriétaires de règles

Je commence chaque pack en nommant une personne ou une équipe responsable de chaque règle. Le propriétaire approuve le texte de la règle, le réexamine trimestriellement et approuve tout changement. Sans un propriétaire clair, une règle qui bloque un outil dangereux aujourd'hui peut être oubliée lorsqu'une nouvelle intégration apparaît, laissant l'agent avec un accès non intentionnel.

Processus de contrôle des modifications

Je traite le pack comme un fichier contrôlé par version. Chaque édition crée un nouveau commit, inclut une brève justification et passe par une liste de vérification de révision qui couvre : (1) impact sur les outils autorisés, (2) effet sur les balises de classe de données, (3) chemins d'escalade et (4) compatibilité avec les preuves d'audit existantes. La liste de vérification se trouve dans le même référentiel que le pack, afin que les réviseurs puissent voir la différence et la discussion en un seul endroit.

Lien avec la fonction de gouvernance de la NIST

La NIST AI RMF décrit la gouvernance comme la base qui définit les rôles, les responsabilités et les politiques. Mon pack reflète cela en rendant la propriété explicite et en intégrant un flux de travail de contrôle des modifications léger que les auditeurs peuvent inspecter. Lorsqu'un auditeur demande « qui est responsable de cette règle? », je peux pointer vers le champ de propriétaire et l'historique des commits. Les outils tels que MailPilot, AIActRadar, AgentPolicy, AgentRedTeam, Waffo et les référentiels tels que OWASP, NIST, EU AI Act peuvent être utilisés pour améliorer la gouvernance et la conformité.

Carte : contexte et flux de données

Inventaire des outils et des classes de données

Je liste chaque outil externe que l'agent peut appeler, puis je tague chaque outil avec les classes de données qu'il peut lire ou écrire. Par exemple, un outil de résumé reçoit le tag « customer-tickets » car il peut ingérer le texte des tickets, tandis qu'un outil de calcul mathématique reçoit le tag « none » car il ne retourne que des nombres. Cette vue à double couche évite l'erreur courante consistant à autoriser un outil sans comprendre les données qu'il touche.

Notation de risque par outil

Pour chaque paire outil-données, j'attribue une note de risque simple : faible, moyen ou élevé. La note provient de trois questions : (1) L'outil traite-t-il des informations personnelles identifiables ? (2) L'outil peut-il invoquer d'autres services ? (3) L'outil a-t-il été mentionné dans des bases de données de vulnérabilités publiques ? Je consigne la note dans le pack afin que les réviseurs voient pourquoi un outil est restreint ou autorisé.

Lien vers la fonction de cartographie de la NIST

La carte dans la AI RMF concerne la compréhension du contexte et de l'impact potentiel. Mon inventaire et ma feuille de notation donnent un artefact concret qui montre quels systèmes l'agent atteint, quels flux de données traversent celui-ci et quel coût aurait une défaillance. Cela satisfait l'exigence de cartographie consistant à « identifier et catégoriser les risques » avant l'application de tout contrôle.

Mesure : télémétrie et preuves

Journalisation des règles

Je configure l'agent pour émettre une entrée de journal structurée chaque fois qu'une règle est évaluée. L'entrée contient : horodatage, ID d'agent, ID de règle, nom d'outil, classe de données, décision (autoriser/refuser/escalader) et le score de risque de l'étape Map. Ces journaux sont acheminés vers un magasin central où je peux exécuter des requêtes simples comme « afficher tous les refus pour l'outil de résumé de la semaine dernière ».

Suivi des escalades

Chaque fois que le pack déclenche une escalade, je journalise la raison et l'humain qui a répondu. Au fil du temps, je calcule deux métriques : (1) le taux d'escalade par outil, et (2) le temps moyen de résolution humaine. Ces chiffres deviennent les preuves que je présente lors d'une revue pour prouver que les limites ne sont pas seulement écrites mais réellement appliquées.

Lien vers la fonction de mesure NIST

La fonction de mesure exige des indicateurs quantitatifs qui montrent si les contrôles fonctionnent. Mes métriques basées sur les journaux donnent aux auditeurs un moyen reproductible de voir l'efficacité des règles, la fréquence des escalades et la latence de réponse. Si les métriques montrent une augmentation soudaine des refus pour un outil, je sais que le pack nécessite une mise à jour de la carte.

L'outil MailPilot, comme l'outil AIActRadar, peut être utilisé pour suivre les événements et les règles, tandis que l'AgentPolicy et l'AgentRedTeam peuvent être utilisés pour configurer les règles et les escalades. Les outils Waffo et OWASP peuvent également être utilisés pour améliorer la sécurité et le respect de la réglementation, comme l'EU AI Act, Article 9, qui exige que les systèmes soient conçus pour garantir la sécurité et la confidentialité des données.

Gérer : réponse et itération

Mises à jour déclenchées par les incidents

Lorsqu'une entrée de journal révèle une violation de politique - disons, l'agent a appelé un outil interdit - j'ouvre un ticket qui fait référence à la ligne de journal exacte. Le ticket déclenche un flux de travail court : (1) vérifier la violation, (2) décider s'il faut resserrer la définition de l'outil, ajouter une liste d'autorisation de sortie ou exiger une confirmation, (3) modifier le pack, (4) incrémenter la version, et (5) fermer le ticket avec un lien vers le nouveau commit.

Versionnage comme du code

Je stocke le pack dans un référentiel Git. Chaque version reçoit une version sémantique (par exemple, 1.2.0). Le message de commit inclut la règle modifiée, la raison et le numéro de ticket associé. Cela facilite la présentation à un auditeur de la différence exacte entre la version examinée le mois dernier et la version en production aujourd'hui.

Lien vers la fonction Manage de NIST

La gestion dans le AI RMF consiste à répondre aux problèmes détectés et à améliorer les contrôles. Mon flux de tickets déclenchés par les incidents et mon pack contrôlé par version donnent un mécanisme concret pour détecter, répondre et vérifier l'amélioration - exactement ce que Manage attend.

Construire un pack de stratégies étape par étape

Commencer avec une liste d'outils autorisés

Je commence par collecter chaque API, CLI ou webhook dont l'agent pourrait avoir besoin. J'écris chaque entrée dans une liste YAML simple, en notant le fournisseur de l'outil, la version et le but. À ce stade, je ne me soucie pas des classes de données ; je veux juste un inventaire complet.

Ajouter des balises de classe de données

Ensuite, je parcours la liste d'outils autorisés et je me demande : quels données cet outil lit ou écrit ? J'ajoute une balise telle que « dossiers financiers », « informations de santé » ou « web public ». Si un outil touche plusieurs classes, j'ajoute plusieurs balises. Cette étape transforme une liste nue en une carte qui peut être notée pour le risque.

Définir les seuils d'escalade

Pour chaque paire outil-données, je décide quand l'agent doit passer à un humain. J'utilise la note de risque de l'étape Carte : les notes faibles obtiennent une autorisation automatique, les notes moyennes obtiennent une autorisation avec journalisation d'audit, et les notes élevées obligent à une escalade. J'encode ces seuils sous forme de tableau de décision dans le pack.

Valider avec des scénarios de test

Avant de considérer le pack comme « prêt », j'exécute un ensemble d'interactions scriptées qui tentent de déclencher chaque règle. Je vérifie que les journaux capturent la décision attendue, que les escalades se déclenchent lorsqu'elles le devraient, et qu'aucune règle n'échoue silencieusement. Si un test montre une discordance, je retourne à l'étape Carte ou Gérer pour corriger le pack.

Ce que cela n'est pas

Je souhaite être clair sur les limites d'un pack de stratégies. Il ne s'agit pas d'une garantie que l'agent ne violera jamais une règle. Il ne s'agit pas d'un bouclier à 100 % contre les nouveaux vecteurs d'attaque inconnus lors de la rédaction du pack. Il ne remplace pas une revue juridique formelle, une évaluation d'un organisme notifié ou votre propre acceptation des risques. Le pack est un outil d'aide à la décision qui rend les règles visibles, testables et modifiables, mais la responsabilité finale repose toujours sur les humains qui possèdent le système.

Checklist de l'opérateur pour les packs de stratégies d'agents d'IA via une lentille NIST AI RMF

Je garde une checklist écrite à côté de chaque version qui touche ce sujet. La liste est ennuyeuse par intention : nommer le propriétaire, nommer l'artefact de preuve, et nommer la restauration. Si une étape ne peut pas produire un fichier, un ticket ou une ligne de journal, ce n'est pas une étape — c'est un vœu.

Avant de modifier la production

- Geler la branche ou la révision de configuration que vous allez mesurer. - Enregistrer le mode d'échec actuel avec une entrée concrète et une sortie concrète. - Confirmer l'identité sous laquelle le travail s'exécute, et si cette identité peut accéder à des données qu'elle ne devrait pas. - Ouvrir les références principales que vous allez citer : https://genai.owasp.org/llmrisk/llm01-prompt-injection, https://owasp.org/www-project-top-10-ci-cd-security-risks/CICD-SEC-06-Insufficient-Credential-Hygiene.

Pendant que vous exécutez la vérification

- Préférer un chemin reproductible à dix captures d'écran anecdotiques. - Écrire le résultat sécurisé attendu avant de déclencher l'outil ou la requête. - Capturer la commande exacte, l'invite, le schéma ou l'expression régulière sous test — et non une paraphrase. - Si le système peut agir (envoyer, écrire, supprimer, transférer), exiger une limite de confirmation dans le même passage.

Après avoir terminé

- Enregistrer le risque résiduel avec un propriétaire et une date, même si l'analyse est propre. - Ne pas convertir un contrôle vert en langage de vente qui prétend à l'exhaustivité. - Réexécuter la même checklist lorsque le modèle, le schéma d'outil ou les règles de validation changent.

Signal | Qu'enregistrer | Arrêter l'expédition? Écriture ou envoi inattendu | Nom de l'outil, arguments, identité | Oui jusqu'à ce que cela soit bloqué Confirmation manquante sur action destructive | Chemin d'appel et contournement | Oui Texte non fiable traité comme instruction | Surface source et action résultante | Oui pour la portée de l'agent Analyseur propre, jugement ouvert | Éléments différés + propriétaire | Seulement si le chemin principal est sécurisé

AgentPolicy aide pour le premier passage mesurable. Les choix d'architecture, la validation légale et les allégations orientées client nécessitent toujours un propriétaire humain. Traitez chaque ligne de checklist comme un support de décision, et non comme un certificat. Les outils tels que MailPilot, AIActRadar, AgentRedTeam et Waffo peuvent également être utilisés pour soutenir les processus de vérification et de validation, conformément aux exigences de l'UE AI Act, telles que définies à l'article 5, et aux règles d'identification des menaces, telles que la règle ID 12345.

Comment j'explique les limites aux acheteurs

Lorsqu'un prospect demande si le produit "couvre tout", je réponds avec la limite : les vérifications automatisées détectent les modèles connus ; les chaînes nouvelles et le jugement des politiques nécessitent encore un examen. Cette honnêteté permet de réduire la charge de support et de maintenir le blog en phase avec ce que le produit fait réellement.

Si vous avez besoin d'un second avis, associez ce texte aux références ci-dessous et à votre propre reproduction de staging. N'omettez pas l'étape de reproduction simplement parce qu'un modèle a rédigé un résumé confiant.

Références

- https://genai.owasp.org/llmrisk/llm01-prompt-injection - https://owasp.org/www-project-top-10-ci-cd-security-risks/CICD-SEC-06-Insufficient-Credential-Hygiene - https://cheatsheetseries.owasp.org/cheatsheets/LLM_Prompt_Injection_Prevention_Cheat_Sheet.html - https://cheatsheetseries.owasp.org/cheatsheets/SQL_Injection_Prevention_Cheat_Sheet.html

Articles liés

- Outils autorisés vs agents à fin ouverte - Explorez la matrice complète des sujets de micro-SaaS d'IA →