今天,红帽宣布推出 asago,这是一个协作式开源 AI 安全项目,与 Alquimia AI、Brave Software、EvalEval 联盟、IBM 研究院、奥地利跨学科转型大学、微软、麻省理工学院林肯实验室、北卡罗来纳州立大学、英伟达(NVIDIA)以及艾伦·图灵研究所携手打造。在这篇博客文章中,我想花些时间详细阐述一下:我们为何认为有必要建立一个新的社区、我们的目标是什么,以及当前项目进展情况。
开源 AI 安全生态系统非常丰富。在护栏、评估、红队测试和代理式安全防护等领域,有许多优秀且成熟的项目,并辅以全面的风险框架、本体和映射。这些都是需要持续发展的关键项目。在红帽,我们的 AI 安全团队与许多这样的上游社区开展合作,并为之做出贡献,未来也将继续如此。
企业面临的 AI 安全方面的其他挑战
然而,如果您细心观察典型的企业组织,就会发现除了这些工具之外,他们还面临着其他挑战。当您审视新的(可能是定制构建的)AI 代理的引入流程时,会发现其中涉及更广泛的利益相关者、资产和流程,而这些方面是现有工具无法覆盖的。
要引入新代理,通常应遵循以下路径:
- 政策制定:团队制定书面政策文件,明确企业组织在 AI 方面的“应做”与“禁做”事项,通常参考《欧盟 AI 法案》等外部法规,有时还会补充针对特定用例的限制条件(例如,针对面向客户的代理制定更严格的规则)。
- 风险提取:必须有人阅读这些文件,并识别其中包含的理论风险。
- 风险分级:对于这些理论上的风险,必须有人判断哪些适用于当前这个特定的代理,哪些是实际上可以进行测试的技术风险。
- 场景生成与红队测试:随后,技术团队必须针对这些风险构建测试场景,并通过现有的红队测试框架进行测试。
- 迭代:随后对结果进行分析解读,实施护栏或其他修复措施,并对代理进行反复测试,直至其准备好部署。如果这一流程是手动进行的,那么每次都会增加大量开销。
此流程会导致审批速度缓慢且审计跟踪不连贯,因此难以向内部或外部审计人员证明实际采取了哪些措施。
asago 旨在通过协作解决这些问题
asago 项目旨在缓解这一痛点。我们希望帮助企业组织将 AI 政策落实到生产实践中,而无需成为 AI 安全领域的专家。重要的是,我们的目标不是取代现有的 AI 安全工具,而是充当一个编排层,将生态系统中的各个组件整合在一起。对于现有的优秀工具,我们将与之集成;对于尚不存在的工具,我们将会填补空白。
当然,这必须是一个协作过程。我们不认为任何一个企业组织能够或应该独自完成这项工作。鉴于政策文件、模型和代理类型、部署环境、监管环境等方面涉及的范围非常广,这样的项目需要广泛的视角,多元化的专业知识必不可少。
这正是我们能够拥有优秀的初始合作伙伴的原因,他们代表了科技公司、研究机构、社区联盟和政府组织。我们不仅要共同编写代码,还要确保提出和回答正确的问题。作为一个全球性社区,我们需要确保在语言和地理上都具有足够的代表性。我们将与美国、英国和欧洲的合作伙伴一同启动该项目,并热烈欢迎更多合作伙伴通过以下链接加入我们,以扩大项目覆盖范围。
不断演变的技术架构
技术架构将随着项目的发展而演变,但以下是我们最初的构想。整个流程分为两个部分:
图 1:蓝色节点代表数据。黄色节点代表功能组件。
从政策文件到场景
在第一部分中,从政策文件中提取风险,并将其映射到 IBM 风险图谱。这些风险收录在风险卡片中,代表了该政策涉及的全部理论风险。其中部分风险属于技术风险,可通过 asago 实现自动化处理。这部分的核心组件是政策映射器。
接下来的挑战是创建合适的场景来推动红队测试。这目前尚不依赖于特定库,但场景生成器的任务是根据已识别的风险,评估相关代理的具体情况,并考虑需要哪种类型的测试及支持性上下文。这些要素共同构成了场景。在此阶段,我们已获得一组场景,可以针对特定代理在企业组织政策的框架之下进行评估和防御。
图 2:蓝色节点代表数据。黄色节点代表功能组件。
通过红队测试,实现从场景到建议的迭代过程
在第二部分(这是一个迭代循环)中,我们将基于这些场景,为相关的红队测试和/或评估框架生成运行工件。这就是数据驱动方法的起点。我们将利用针对这些场景合成的数据集和环境,在 EvalHub 上触发热门的评估和红队测试框架。
这些结果将传递至推荐流程,以针对红队测试过程中发现的故障提供候选修复方案。我们设想提供灵活多样的建议方案,以护栏为起点,但很可能会逐步扩展到整个堆栈中的更多组件。重要的是,这些组件将是可部署的(例如通过 Kubernetes 自定义资源(CR)或配置映射)和可重复测试。
需要注意的是,这只是初始架构。随着社区的发展,这一架构也将随之演变。
现在您能做些什么?
虽然我们今天宣布的内容主要介绍了社区的路线图和前进方向,但开发工作仍在积极推进中,您已经可以开始体验我们的工作成果。在 asago 的 GitHub 上,您已经可以查看政策映射方面的工作(点击此处),并参考相关示例(点击此处)。您还可以了解 midojo,这是一个开源框架,用于针对间接提示注入对 AI 代理进行安全测试。
最后,您和您的企业组织可以作为合作伙伴加入我们。我们需要来自众多企业组织的意见,尤其是具有不同语言、文化和地域背景的代表。点击此处了解更多信息并参与其中。
就 AI 安全而言,理想情况是没有任何一家公司能够独揽控制权。asago 正是我们为实现这一目标所做出的努力,它的基础架构由一个真正拥有多元视的社区在开源环境下构建而成。该项目尚处于初期阶段,还有许多工作需要完成。正因如此,现在是参与其中的最佳时机。
关于作者
Dr. Stuart Battersby is the AI Safety and Model Evaluation architect at Red Hat, where he focuses on building open source AI safety tools. Based in the UK, he brings extensive experience in AI safety and evaluation to his role.
Prior to Red Hat, Stuart was founder and CTO of Chatterbox Labs, where he led development of AIMI, a platform addressing emerging challenges in AI safety and security. Red Hat acquired Chatterbox Labs in December 2025.
He holds a PhD from Queen Mary, University of London, and is the inventor on two patents in AI. His work spans the intersection of artificial intelligence, security, and safety engineering, with emphasis on open source approaches to AI governance and evaluation.
Alessandro Beltramo is a Staff Engineer at Red Hat, working on AI Safety within the Red Hat OpenShift AI team. He focuses on AI orchestration, automated red teaming, and evaluation tooling.