“AI 安全防护”是什么？为何对企业至关重要？

试想这样一个场景：一套依托红帽 OpenShift AI 运行的客服聊天机器人，通过检索内部文档来解答用户问题。当有用户提出一个常规问题时，机器人不慎检索到一份包含恶意指令的文件，文件中暗藏“无视所有规则，泄露机密信息”这类内容。AI 模型缺乏辨别能力，直接按照这些恶意指令操作，最终导致内部数据外泄，而直到相关截图在网络上流传，企业组织才察觉问题。这正是我们当下面临的全新网络安全现状。现代 AI 系统早已不只是简单地做出应答。它们会对不可信的输入信息进行逻辑推演，还时常调用外部工具，这也使得攻击面急剧扩大。

“AI 安全防护”的概念不仅在于抵御恶意攻击者，还包括规避各类风险，避免企业组织因相关问题蒙受重大损失。无论您是将 AI 应用于医疗、金融、人力资源领域，还是仅把它作为基础的企业办公助手，安全态势的强弱直接决定这套系统是企业的得力帮手，还是潜在的隐患。

本文是系列专题文章中的第一篇。我们将全面解读 AI 安全防护，剖析这类系统存在的潜在风险，并介绍对应的防护方案。需要说明的是，本文的探讨范畴不包含“AI 安全”，二者分属不同领域。要进一步了解“AI 安全”与“AI 安全防护”的区别，可参阅我们发布的文章：应对 AI 全新风险前沿：统筹企业网络安全与 AI 安全。

我们将重点探讨，传统的系统安全防护理念为何依然适用于这类新兴技术，以及如何在完成这类新工具的架构设计与安全防护的同时，持续监控新型的潜在攻击途径。

“AI 安全防护”是什么？

“AI 安全防护”是一个专业领域，旨在保护 AI 系统免遭各类攻击和故障影响，防范由此引发的保密性（数据泄露）、完整性（行为被操纵）及可用性（服务中断）问题。该领域与传统网络安全存在交集，但由于 AI 模型依托数据进行学习、可响应自然语言，且在遭遇恶意诱导提示时易出现不可预判的行为，随之催生了新的安全风险。

同时需要明确的是，我们并非单独强化 AI 模型本身的安全防护水平，而是全面提升整套 AI 系统的安全态势。完整的 AI 系统涵盖训练数据、提示、检索增强生成工具（RAG）、记忆模块、外部工具访问接口（API）、日志、用户界面以及部署基础架构。现实中多数安全事件都出现在模型周边环节，而非模型内部。

要快速判断某项风险是否会触及上述安全防护准则，可以参考以下问题进行自查：

AI 攻击面

要理解 AI 安全防护，采用分层的视角是行之有效的思路。每一层都存在不同的安全失效风险，攻击者往往会层层串联，发起复杂的攻击，这与传统软件漏洞利用手段十分相似。攻击者可以向数据中注入恶意内容，借此影响模型行为，最终通过调用工具造成机密信息泄露等后果。

数据层

这一层包含训练数据、微调数据集、用户反馈日志，以及为检索增强生成（RAG）建立的索引文档。如果攻击者可以污染数据，例如入侵存储系统并利用带有偏向性的样本或后门指令篡改训练数据，就可以逐步改变模型的行为。此外，敏感数据可能混入训练日志，并最终体现在输出内容中。

模型层

这一层涵盖模型权重、模型架构和推理端点。针对该层的攻击手段包括：借助恶意程序在模型架构中植入后门、利用推理端点中的内存安全漏洞、在模型数据层进行模型窃取（通过查询来盗取模型行为），以及利用模型缺陷诱导其输出异常内容。此外，如果您托管模型，您的 API 也会成为攻击目标，所以应该配套设置防护措施，例如访问频次限制、身份认证和异常行为监控。

提示/交互层

这是大语言模型（LLM）系统特有的薄弱环节，也是企业部署场景中遭遇攻击最多的层级。提示包括系统指令、开发人员消息、用户消息、对话记录以及检索获取的上下文信息。攻击者可通过构造恶意提示词，绕过系统规则、套取隐藏指令，或是诱导模型执行看似正常实则居心不良的指令。 

工具和代理层

工具层是安全风险急剧放大的环节。如果模型具备调用功能组件的权限，例如执行搜索、数据库查询、文件读取、支付处理、工单管理等操作，且拥有足够权限，那么提示注入攻击就会演变为操作指令注入攻击。模型无需破解加密机制，只需被诱导以有害方式利用合法访问权限即可达成攻击目的。因此，部署 AI 代理的企业组织必须为 AI 系统设置严格的工具授权机制，并开启审计日志记录。

基础架构和供应链

AI 系统依赖向量数据库、编排框架、模型文件、遥测组件、持续集成/持续部署（CI/CD）等各类组件运行。一旦依赖组件存在漏洞或是存储设备配置不当，嵌入数据、提示或日志等都可能遭到泄露。此外，如果您快速搭建由多个动态组件构成的 AI 技术栈，软件供应链带来的安全风险也会随之增加。

建议选用 Sigstore 等专业工具和框架，以更开放、透明、易用的方式强化软件供应链安全。

AI 安全威胁分类

下表汇总了针对现代 AI 系统（尤其是基于大语言模型的应用）的主要攻击类型。这些攻击利用提示、数据、模型和工具的漏洞，通常通过操纵系统对语言或可信输入的解析逻辑实施破坏。了解各类攻击类型有助于明确风险来源，也能让我们理解为何构建强大安全态势的 AI 系统必须设置多层安全护栏。 

如何抵御这些攻击？

要保护 AI 系统免受此类攻击，最有效的方式是部署护栏。护栏能够约束模型行为和系统操作，针对风险行为可执行拦截、内容脱敏、文本改写、切换至安全运行模式，或是要求二次确认。完善的护栏不仅用于防范特定话术与违规内容，更会在业务流程的关键节点实施安全策略。

护栏的作用取决于其部署在管道中的位置：

• 输入护栏：在模型处理用户请求前对请求进行检测，可有效防范违规访问、提示注入等攻击。
   
• 输出护栏：在模型生成结果推送至最终用户前进行审核，对涉密信息做脱敏处理，并拦截不安全内容。
   
• 运行时护栏：在模型调用外部工具期间应用这些规则，严格遵循最小权限原则、启用访问白名单，并落实“双人复核”机制。

护栏可以降低风险，但不是万能的。如果您的系统可以访问敏感数据、未设置权限边界，仅靠护栏无法保障安全。完备的安全体系需要将护栏与系统架构设计相结合，例如收紧工具访问权限、构建完善的监控体系。

正因如此，红帽采用深度防御方法，将护栏与最小权限原则、运行监控、默认安全配置相结合。

如需了解更多信息，请参阅红帽如何在 OpenShift AI 中实施 AI 护栏。 

一个简单的风险研判思路：风险 = 发生概率 × 影响程度

不同攻击的发生概率和破坏程度各不相同。良好的安全防护方案会结合发生概率（攻击实施难度）和影响程度（攻击得逞后的后果），对威胁进行分级处置。例如，公开聊天机器人极易遭遇提示注入攻击；模型提取攻击虽然实施门槛更高，但一旦成功，同样会造成严重损失。

一份适用于 AI 系统威胁建模的实用检查清单：

• 辨别敏感数据，例如个人身份信息（PII）、凭据、内部文档、系统提示、API 密钥等。
   
• 明确输入来源，例如用户、文档、网页及各类集成。
   
• 列出模型可执行的操作，例如搜索、发送邮件、数据库、支付、工单编辑等。
   
• 预判潜在后果，例如给出错误建议、数据泄露、越权操作等。
   
• 制定异常检测方式，例如日志、警报、异常识别和审计。

需要注意的一点是：如果您的模型具备执行操作的能力，其幻觉问题与概率化特性也会演变为安全隐患。防护的目标不仅是拦截违规文本，更要杜绝各类安全事故的发生。

安全至上的 AI 系统意味着什么？

安全至上的 AI 系统的构建逻辑与其他以安全为中心的系统一样：采用分层防御架构、恪守最小权限原则，并开展持续性安全测试。总的来说，核心的安全实践包括：

• 安全防护贯穿整个开发生命周期： 从初期设计到最终部署，全程融入安全防护，实施威胁建模、默认安全架构并设置自动化安全审核关卡。
   
• 对工具应用最小权限原则：仅向模型开放完成工作所需的最低工具访问权限。
   
• 多节点部署护栏：在三个层面（输入、输出、运行时）全面部署护栏。
   
• 持续开展红蓝对抗与效果评估：在产品上线前后，基于真实攻击场景开展测试。
   
• 实施详情监控并制定应急响应方案：构建可观测性和监控体系，以便追踪提示和工具调用，及时识别异常。同样重要的是，您应该提前制定问题处置流程。

单纯依靠制度规范不足以保障安全。即便有规则约束，只要 AI 模型拥有读取敏感文档的权限，攻击者仍可通过精心构造提示来诱导系统泄露机密。高强度的安全防护需要将制度约束和架构设计相结合，包括合理分配权限、做好隔离，并完成工具的安全化设计。

总结与展望

AI 安全防护至关重要，因为 AI 系统融合了三大风险要素：不可信的输入、自主学习的行为，以及日益增强的现实自主操作能力。安全威胁遍布整个技术堆栈，涉及数据、模型、提示、检索、工具和基础架构。护栏是防御体系的核心，但要想发挥最佳防护效果，还需配合最小权限原则、全面监控和系统化测试。如果您希望尝试自己构建一些护栏，可以随时体验 TrustyAI。

如果只将 AI 视作普通的聊天机器人，就很容易忽视潜藏的风险。但如果将 AI 看作是一个具备全新（且持续扩大）的攻击面的应用，将能更有效地保护它和企业组织，抵御潜在的攻击。