Apresentamos o asago: orquestração open source para segurança e governança de IA

Hoje, a Red Hat anunciou o lançamento do asago, um projeto open source colaborativo de segurança de IA em parceria com Alquimia AI, Brave Software, coalizão EvalEval, IBM Research, Interdisciplinary Transformation University Austria, Microsoft, MIT Lincoln Laboratory, North Carolina State University, NVIDIA e The Alan Turing Institute. Neste post, gostaria de explicar por que consideramos que uma nova comunidade era necessária, o que pretendemos alcançar e qual é a situação atual.

O ecossistema de segurança de IA open source é abrangente. Existem diversos projetos excelentes e maduros em áreas como guardrails, avaliações, red teaming e segurança baseada em agentes, complementados por frameworks de risco abrangentes, ontologias e mapeamentos. Esses projetos importantes exigem desenvolvimento contínuo. Na Red Hat, nossa equipe de AI Safety colabora e contribui com diversas comunidades upstream, e continuaremos a fazer isso.

Desafios empresariais adicionais na segurança de IA

No entanto, as organizações empresariais típicas enfrentam desafios além dessas ferramentas. Ao examinar o processo de integração de um novo agente de IA, possivelmente personalizado, existem partes interessadas, ativos e processos mais amplos que as ferramentas existentes não abrangem.

A integração de um novo agente normalmente segue este caminho:

• Desenvolvimento de políticas: as equipes produzem documentos de política por escrito que codificam as diretrizes de IA da organização. Esses documentos geralmente mencionam regulamentações externas, como o EU AI Act, e podem incluir restrições específicas para casos de uso, como regras mais rígidas para agentes que atendem clientes.
• Extração de riscos: é necessário ler esses documentos e identificar os riscos teóricos que eles contêm.
• Triagem de riscos: desses riscos teóricos, é preciso decidir quais se aplicam a esse agente específico e quais são riscos técnicos que podem ser testados.
• Geração de cenários e red teaming: as equipes técnicas devem criar cenários de teste para esses riscos e executá-los em frameworks de red-teaming existentes.
• Iteração: interpretamos os resultados, aplicamos guardrails ou outras correções e testamos o agente novamente até que ele esteja pronto para a implantação. Se o processo for manual, ele adicionará uma grande sobrecarga a cada execução.

Esse processo causa aprovações lentas e uma trilha de auditoria desconectada, dificultando a demonstração das ações realizadas para auditores internos ou externos.

O projeto asago visa resolver esses problemas colaborativamente

O projeto asago visa aliviar esse problema. Queremos ajudar as organizações a levar suas políticas de IA para a produção sem que precisem ser especialistas em segurança de IA. Nosso objetivo não é substituir as ferramentas de segurança de IA existentes, mas atuar como uma camada de orquestração para unir os componentes do ecossistema. Integraremos as melhores ferramentas disponíveis e preencheremos as lacunas existentes.

Naturalmente, esse deve ser um processo colaborativo. Não acreditamos que uma única organização possa ou deva fazer isso sozinha. Devido à grande variedade de documentos de políticas, tipos de modelos e agentes e contextos regulatórios, um projeto como esse exige diversos pontos de vista. O conhecimento especializado e diversificado é indispensável.

Por isso, contamos com excelentes parceiros iniciais que representam empresas de tecnologia, instituições de pesquisa, coalizões comunitárias e organizações governamentais. Juntos, não apenas escreveremos o código, mas garantiremos que as perguntas certas sejam feitas e respondidas. Como uma comunidade global, precisamos garantir uma representação linguística e geográfica suficiente. Estamos lançando o projeto com parceiros nos EUA, Reino Unido e Europa, e incentivamos a adesão de mais colaboradores para expandir essa cobertura por meio dos links abaixo.

Uma arquitetura técnica em evolução

A arquitetura técnica evoluirá com o projeto, mas apresentamos aqui nossa visão inicial. O processo é dividido em duas seções:

Figura 1: Os nós azuis representam os dados. Os nós amarelos representam os componentes funcionais.

Do documento de política aos cenários

Na primeira seção, extraímos os riscos dos documentos de política e os mapeamos para o IBM Risk Atlas. Esses riscos, indexados em um cartão de risco, representam toda a gama de riscos teóricos abordados pela política. O asago pode automatizar e tratar alguns desses riscos técnicos. O principal componente para isso é o mapeador de políticas.

O próximo desafio é criar o cenário ideal para impulsionar o red teaming. Isso ainda não é específico de uma biblioteca. O papel do gerador de cenários é avaliar as especificidades do agente em questão em relação aos riscos identificados, além de considerar os tipos de testes e contextos de suporte necessários. Eles formam o cenário. Nesse estágio, temos um conjunto de cenários que podemos avaliar e defender para o agente específico no contexto das políticas da organização.

Figura 2: Os nós azuis representam os dados. Os nós amarelos representam os componentes funcionais.

Do cenário iterativo às recomendações via red teaming

Na segunda seção, que consiste em um loop iterativo, utilizamos esses cenários para gerar artefatos de execução para os frameworks de red teaming ou avaliação relevantes. É aqui que começa a abordagem baseada em dados. Acionaremos frameworks populares de avaliação e red teaming (no EvalHub) com ambientes e conjuntos de dados gerados sinteticamente que abordam os cenários.

Enviamos os resultados para um processo de recomendação para fornecer possíveis correções para falhas de red teaming. Prevemos uma gama flexível de recomendações, começando com guardrails, mas que provavelmente evoluirá para outros componentes do stack. Esses componentes poderão ser implantados (como com Kubernetes custom resources (CRs) ou config maps) e testados novamente.

Observe que esta é apenas a arquitetura inicial. À medida que a comunidade evolui, essa arquitetura também evoluirá.

O que você pode fazer hoje?

Embora o anúncio de hoje destaque o roadmap e o caminho para a comunidade, o desenvolvimento está ativo e você já pode começar a experimentar nosso trabalho. No GitHub do asago você já pode conferir o trabalho de mapeamento de políticas aqui, com exemplos aqui. Você também pode conferir o midojo, um framework open source para testes de segurança de agentes de IA contra injeção de prompt indireto.  

Por fim, você e sua organização podem se juntar a nós como colaboradores. Precisamos da contribuição de diversas organizações, especialmente com representação de diferentes idiomas, culturas e regiões. Saiba mais e participe aqui.

O melhor resultado para a segurança de IA é aquele que nenhuma empresa controla individualmente. O projeto asago é nossa contribuição para esse objetivo, com uma infraestrutura open source criada por uma comunidade com perspectivas genuinamente diversas. O projeto está em seus estágios iniciais e há muito a ser construído. Por isso, agora é o melhor momento para se envolver.