Asago : orchestration de la sécurité et de la gouvernance de l'IA Open Source

Aujourd'hui, Red Hat a annoncé asago, un projet collaboratif d'IA Open Source sur la sécurité, en partenariat avec Alquimia AI, Brave Software, la coalition EvalEval, IBM Research, l'Interdisciplinary Transformation University Austria, Microsoft, le MIT Lincoln Laboratory, la North Carolina State University, NVIDIA et l'Alan Turing Institute. Dans cet article de blog, j'aimerais expliquer plus en détail pourquoi nous avons estimé qu'une nouvelle communauté était nécessaire, ce que nous visons et l'état actuel du projet.

L'écosystème Open Source de la sécurité de l'IA est riche. Il existe de nombreux projets d'excellence et parvenus à maturité dans des domaines tels que les garde-fous, les évaluations, le red teaming et la sécurité agentique, complétés par des cadres de risques, ontologies et mappages exhaustifs. Il s'agit de projets importants qui nécessitent un développement continu. Chez Red Hat, notre équipe chargée de la sécurité de l'IA collabore avec nombre de ces communautés en amont et y contribue, et nous continuerons de le faire.

Autres défis pour la sécurité de l'IA en entreprise

Cependant, dans une entreprise type, les défis vont au-delà de ces outils. Lorsque l'on examine le processus d'intégration d'un nouvel agent d'IA, potentiellement personnalisé, on constate qu’un éventail plus large de parties prenantes, de ressources et de processus ne sont pas pris en compte par les outils existants.

L'intégration d'un nouvel agent suit généralement ce parcours :

• Développement de politiques : Les équipes rédigent des documents de politique qui définissent les règles d'utilisation de l'IA au sein de l'entreprise. Ces documents font souvent référence à des réglementations externes, telles que la loi sur l'IA de l'UE, et sont parfois complétés par des contraintes spécifiques à des cas d'utilisation (par exemple, des règles plus strictes pour les agents en contact avec la clientèle).
• Extraction des risques : Une personne doit lire ces documents et identifier les risques théoriques qu'ils contiennent.
• Tri des risques : Parmi ces risques théoriques, quelqu'un doit déterminer lesquels s'appliquent à cet agent spécifique et lesquels constituent des risques techniques pouvant être réellement testés.
• Génération de scénarios et red teaming : Les équipes techniques doivent ensuite créer des scénarios de test pour ces risques et les soumettre aux frameworks de red teaming existants.
• Itération : Les résultats sont ensuite interprétés, des garde-fous ou d'autres correctifs sont appliqués, et l'agent est testé de nouveau jusqu'à ce qu'il soit prêt à être déployé. Si le processus est manuel, cela entraîne une charge supplémentaire importante à chaque fois.

Ce processus ralentit les approbations et crée une piste d'audit déconnectée, ce qui rend difficile de démontrer aux auditeurs internes ou externes ce qui a été réellement fait.

asago vise à résoudre ces problèmes de manière collaborative

Le projet asago vise à remédier à cette situation. Nous voulons aider les entreprises à passer de leurs politiques d'IA à la mise en production sans avoir à être des experts en sécurité de l'IA. Il est important de noter que notre objectif n'est pas de remplacer les outils de sécurité de l'IA existants, mais plutôt de servir de couche d'orchestration pour relier les composants de l'écosystème. Nous intégrerons les meilleurs outils là où ils existent et comblerons les lacunes lorsqu'il n'y en a pas.

Bien entendu, il doit s'agir d'un processus collaboratif. Nous ne pensons pas qu'une seule entreprise puisse ou doive y parvenir seule. Compte tenu de la grande variété de documents de politique, de types de modèles et d'agents, de contextes de déploiement ou réglementaires, et plus encore, un tel projet nécessite des points de vue variés. Une expertise diversifiée est indispensable.

C'est pourquoi nous avons d'excellents partenaires initiaux représentant des entreprises technologiques, des instituts de recherche, des coalitions communautaires et des organismes gouvernementaux. Ensemble, nous ne nous contenterons pas d'écrire le code ; nous veillerons également à poser les bonnes questions et à y répondre. En tant que communauté mondiale, nous devons veiller à disposer d'une représentation linguistique et géographique suffisante. Nous lançons le projet avec des partenaires aux États-Unis, au Royaume-Uni et en Europe, et nous encourageons vivement d'autres collaborateurs à nous rejoindre pour étendre cette couverture via les liens ci-dessous.

Une architecture technique en constante évolution

L'architecture technique évoluera avec le projet, mais voici notre vision initiale. Le processus est divisé en deux sections :

Figure 1 : Les nœuds bleus représentent les données. Les nœuds jaunes représentent les composants fonctionnels.

Du document de politique aux scénarios

Dans la première section, les risques sont extraits des documents de politique et mis en correspondance avec l'IBM Risk Atlas. Ces risques, répertoriés dans une fiche de risque, représentent l'ensemble des risques théoriques abordés par la politique. Certains d'entre eux seront des risques techniques qui peuvent être évalués et traités automatiquement avec asago. Le composant principal pour cette opération est le mappeur de politique (policy mapper).

Le défi suivant consiste à créer le scénario adéquat pour piloter le red teaming. Ce travail ne dépend pas encore d'une bibliothèque spécifique, mais le rôle du générateur de scénarios est d'évaluer les spécificités de l'agent en question par rapport aux risques identifiés, et de déterminer quels types de tests et quel contexte de support sont nécessaires. Ces éléments constituent le scénario. À ce stade du processus, nous disposons d'un ensemble de scénarios qui peuvent être évalués et pour lesquels l'agent spécifique peut être défendu dans le contexte des politiques de l'entreprise.

Figure 2 : Les nœuds bleus représentent les données. Les nœuds jaunes représentent les composants fonctionnels.

Des scénarios itératifs aux recommandations via le red teaming

Dans la deuxième section, qui est une boucle itérative, nous utilisons ces scénarios pour générer des artefacts d'exécution pour les frameworks de red teaming ou d'évaluation pertinents. C'est ici que commence l'approche axée sur les données. Les frameworks d'évaluation et de red teaming courants seront déclenchés (sur EvalHub) avec des ensembles de données et des environnements générés de manière synthétique qui répondent aux scénarios.

Les résultats sont transmis à un processus de recommandation afin de fournir des correctifs potentiels pour les échecs de red teaming. Nous envisageons une gamme flexible de recommandations, en commençant par les garde-fous, mais qui évoluera probablement vers d'autres composants de la pile. Il est important de noter que ces composants seront déployables (par exemple avec des ressources personnalisées Kubernetes (CR) ou des ConfigMaps) et pourront être testés de nouveau.

Il est important de noter qu'il ne s'agit que de l'architecture initiale. À mesure que la communauté évolue, cette architecture évoluera avec elle.

Que pouvez-vous faire dès aujourd'hui ?

Bien que l'annonce d'aujourd'hui mette en avant la feuille de route et le parcours de la communauté, le développement est actif et vous pouvez déjà commencer à expérimenter nos travaux. Sur le GitHub d'asago, vous pouvez déjà consulter le travail de mappage des politiques ici, ainsi que des exemples ici. Vous pouvez également consulter midojo, un framework Open Source permettant de tester la sécurité des agents d'IA contre l'injection de requêtes indirecte.  

Enfin, vous et votre entreprise pouvez nous rejoindre en tant que collaborateurs. Nous avons besoin de la contribution de nombreuses organisations, en particulier avec une représentation de différentes langues, cultures et zones géographiques. Pour en savoir plus et vous impliquer, cliquez ici.

Le meilleur résultat pour la sécurité de l'IA est celui qu'aucune entreprise ne contrôle à elle seule. asago est notre contribution à cet objectif, avec une infrastructure construite de manière ouverte par une communauté aux perspectives véritablement diversifiées. Le projet n'en est qu'à ses débuts et il reste encore beaucoup à construire. Et c'est précisément pour cela que c'est le moment idéal pour vous impliquer.