Presentación de asago: Orquestación de la seguridad y la gobernanza de la inteligencia artificial open source

Red Hat anunció hoy asago, un proyecto colaborativo y open source de seguridad de la inteligencia artificial en asociación con Alquimia AI, Brave Software, EvalEval coalition, IBM Research, Interdisciplinary Transformation University Austria, Microsoft, MIT Lincoln Laboratory, North Carolina State University, NVIDIA y The Alan Turing Institute. En esta publicación de blog, me gustaría dedicar más tiempo a explicar en detalle por qué consideramos que era necesaria una comunidad nueva, lo que pretendemos lograr y cuál es el estado actual.

El ecosistema de seguridad de la inteligencia artificial open source es muy amplio. Hay muchos proyectos excelentes y consolidados en áreas como las medidas de seguridad, las evaluaciones, el red teaming (simulación de adversarios) y la seguridad de la inteligencia artificial con agentes, los cuales se complementan con marcos de riesgo, ontologías y asignaciones integrales. Estos son proyectos importantes que requieren un desarrollo constante. En Red Hat, nuestro equipo de seguridad de la inteligencia artificial colabora con muchas de estas comunidades upstream y realiza aportes a ellas, y seguiremos haciéndolo.

Otros desafíos empresariales en materia de seguridad de la inteligencia artificial

Sin embargo, en una empresa típica, se enfrentan a desafíos adicionales además de estas herramientas. Cuando se examina el proceso de incorporación de un agente de inteligencia artificial nuevo, posiblemente personalizado, hay más partes interesadas, recursos y procesos que las herramientas actuales no cubren.

La incorporación de un agente nuevo suele seguir este proceso:

• Desarrollo de políticas: Los equipos redactan documentos de políticas que codifican lo que se debe y no se debe hacer con la inteligencia artificial en la empresa. A menudo, se hace referencia a normativas externas, como la Ley de inteligencia artificial de la UE, y, en ocasiones, se complementan con restricciones específicas de los casos prácticos (por ejemplo, normas más estrictas para los agentes que interactúan con los clientes).
• Extracción de riesgos: Alguien tiene que leer esos documentos e identificar los riesgos teóricos que contienen.
• Clasificación de los riesgos: De esos riesgos teóricos, alguien debe decidir cuáles se aplican a este agente específico y cuáles son riesgos técnicos que realmente se pueden probar.
• Generación de escenarios y red teaming: Luego, los equipos técnicos deben diseñar escenarios de prueba para esos riesgos y ejecutarlos a través de los marcos de red teaming existentes.
• Iteración: Luego se interpretan los resultados, se aplican medidas de seguridad u otras correcciones y se vuelve a probar el agente hasta que esté listo para implementarse. Si el proceso es manual, esto implica una sobrecarga importante cada vez.

Este proceso ralentiza las aprobaciones y genera registros de auditoría inconexos, lo cual dificulta demostrar a los auditores internos o externos lo que realmente se hizo.

asago busca resolver estos problemas de forma colaborativa

El objetivo del proyecto asago es paliar esta dificultad. Queremos ayudar a las organizaciones a pasar de sus políticas de inteligencia artificial a la producción sin necesidad de ser especialistas en la seguridad de esta tecnología. Es importante destacar que nuestro objetivo no es reemplazar las herramientas de seguridad actuales de la inteligencia artificial, sino actuar como una capa de orquestación para unir los elementos del ecosistema. Nos integraremos con las mejores herramientas donde existan y cubriremos los vacíos cuando no sea así.

Por supuesto, este debe ser un proceso colaborativo. No creemos que una sola empresa pueda o deba hacer esto por sí sola. Dada la gran variedad de documentos de políticas, tipos de modelos y agentes, contextos de implementación, contextos normativos y más, un proyecto como este necesita una gran variedad de puntos de vista; la experiencia diversa no es negociable.

Por eso, contamos con excelentes partners iniciales que representan a empresas de tecnología, instituciones de investigación, asociaciones comunitarias y organismos gubernamentales. Juntos no solo escribiremos el código, sino que también nos aseguraremos de hacer y responder las preguntas correctas. Además, como comunidad internacional, debemos asegurarnos de tener suficiente representación lingüística y geográfica. Estamos lanzando el proyecto con partners en Estados Unidos, el Reino Unido y Europa, y recomendamos encarecidamente a más colaboradores que se unan a nosotros para ampliar esta cobertura a través de los enlaces que aparecen a continuación.

Una arquitectura técnica en evolución

La arquitectura técnica evolucionará con el proyecto, pero esta es nuestra visión inicial. El proceso se divide en 2 secciones:

Figura 1: Los nodos azules representan datos. Los nodos amarillos representan elementos funcionales.

Del documento de políticas a los escenarios

En la primera sección, se extraen los riesgos de los documentos de políticas y se asignan al IBM Risk Atlas. Estos riesgos, que se indexan en una tarjeta de riesgos, representan toda la gama de riesgos teóricos que se mencionan en la política. Algunos de ellos serán riesgos técnicos que se pueden automatizar y abordar con asago. El principal elemento es el asignador de políticas.

El siguiente desafío es crear el escenario adecuado para impulsar el red teaming. Esto no es específico de la biblioteca todavía, pero el trabajo del generador de escenarios consiste en evaluar los detalles del agente en cuestión con respecto a los riesgos identificados, y considerar qué tipo de pruebas y contexto de respaldo se necesitan. Estos forman el escenario. En este punto del proceso, tenemos un conjunto de escenarios que se pueden evaluar y defender para el agente específico en el contexto de las políticas de la empresa.

Figura 2: Los nodos azules representan datos. Los nodos amarillos representan elementos funcionales.

Del escenario iterativo a las recomendaciones mediante red teaming

En la segunda sección, que es un ciclo iterativo, tomamos esos escenarios y generamos artefactos de ejecución para los marcos de red teaming o eval relevantes. Aquí es donde comienza el enfoque basado en los datos. Se activarán los marcos populares de evaluación y red teaming (en EvalHub) con entornos y conjuntos de datos generados sintéticamente que abordan los escenarios.

Los resultados se envían a un proceso de recomendación para proporcionar soluciones posibles para las fallas del red teaming. Prevemos una variedad flexible de recomendaciones, que comienza con las medidas de seguridad, pero que probablemente se extienda a más elementos en toda la stack. Es importante destacar que estos elementos se podrán implementar (por ejemplo, con los recursos personalizados (CR) de Kubernetes o los mapas de configuración) y se podrán volver a probar.

Es importante tener en cuenta que esta es solo la arquitectura inicial. A medida que la comunidad evolucione, esta arquitectura también lo hará.

¿Qué puedes hacer hoy?

Si bien lo que anunciamos hoy destaca el plan y el camino para la comunidad, el desarrollo está activo y ya puedes comenzar a experimentar con nuestro trabajo. En el GitHub de asago , puedes consultar el trabajo de asignación de políticas aquí, con ejemplos aquí. También puedes consultar midojo, un marco open source para probar la seguridad de los agentes de inteligencia artificial contra la inyección indirecta de peticiones.  

Por último, tú y tu empresa pueden unirse a nosotros como colaboradores. Necesitamos la opinión de muchas empresas, en especial las que tienen representación en distintos idiomas, culturas y regiones. Obtén más información y participa aquí.

El mejor resultado para la seguridad de la inteligencia artificial es aquel que ninguna empresa controla. asago es nuestra contribución a ese objetivo, con una infraestructura diseñada de forma abierta por una comunidad con perspectivas realmente diversas. El proyecto se encuentra en sus etapas iniciales y queda mucho por desarrollar. Y precisamente por eso, ahora es el mejor momento para participar.