规模化应用 AI，无需高昂成本：企业转向模型即服务的背后动因

随着 AI 解决方案在企业中的加速普及，使用公共模型的成本变得日益高昂，而且这还增加了企业数据泄露给第三方的风险。模型即服务（MaaS）方法使企业能够提供开源模型（以及所需的 AI 技术堆栈），作为整个企业的共享资源。

此外，随着企业加速采用 AI，各业务部门往往各自为政，致力于构建覆盖广泛用例（如聊天机器人、代码助手、文本/图像生成等）的定制化 AI 解决方案，导致整体缺乏一致性。 

模型即服务简介

IDC 关于 AI 采用趋势的洞察报告阐述了企业如何从机会主义型解决方案过渡到能够推动整个企业组织转型的托管式解决方案。

每个业务部门通常需要不同类型的 AI 模型来满足其特定用例的需求。下面是一些示例：

• 生成式 AI（gen AI）模型：用于创建新内容，如文本或图像
• 预测性 AI 模型：用于对数据模式进行分类或预测
• 经过微调的 AI 模型：使用企业或特定领域数据完成定制化的模型
• 检索增强生成（RAG）：使用企业或特定领域数据增强通用模型信息

生成式 AI 模型可以通过 OpenAI、Claude 和 Gemini 等第三方托管服务访问，且易于上手，但大规模应用时成本会变得十分高昂。此外，该模型还存在数据隐私和安全方面的问题，因为企业数据可能会泄露给其他方。企业虽可自行托管生成式 AI 及其他模型，但这可能导致各个业务部门重复工作，从而增加成本并延迟产品上市时间。

随着生成式 AI 模型每两周迭代更新一次，加之 AI 技术飞速发展，企业几乎不可能跟上发展步伐。模型选项多达数十种，涵盖超大规模模型（4,500 亿参数）、精简版模型（模型经过量化或具有更少参数），以及专家混合模型。许多开发人员缺乏选择合适模型或充分利用昂贵资源（如 GPU）所需的专业能力。 

随着各业务部门构建自己专属的 AI 解决方案，企业面临着以下几项挑战：

• 成本高昂：部署和维护 AI 模型需要昂贵的 GPU 集群、机器学习（ML）专业知识以及持续微调。在内部训练和微调模型可能会耗费数百万美元的计算、存储和人才成本。此外，若缺乏集中化治理，模型成本可能变得难以预测。
• 重复：稀缺 AI 资源重复配置或利用率不足，可能会导致预算浪费。
• 复杂性：开发人员只想访问模型，不愿应对复杂的基础架构或不断演变的 AI 堆栈。
• 技能短缺：企业缺乏构建自定义模型所需的 ML 工程师、数据科学家和 AI 研究人员。
• 运维控制：随着多个业务部门各自推进独立的 AI 工作，企业在规模化扩展、版本控制和模型偏移方面面临严峻的挑战。

企业需要采取更优方案，在不耗费巨资的前提下把握 AI 的发展机遇。

MaaS 助您一臂之力

MaaS 使企业能够提供开源模型（以及所需的 AI 堆栈），用作共享资源。实际上，企业 IT 已成为 AI 服务的提供商，这些服务可供整个企业使用。 

用户既可选择最先进的前沿模型，也可以选择经过量化的模型或小语言模型（SLM），这些模型规模缩小数个数量级，却能以极低的成本实现相近的性能表现。这些模型可以使用私有企业数据进行调优和定制，并且可以在性能较弱的硬件上运行，从而降低能耗。模型可以有多个实例，以满足不同的用例和部署环境需求。所有这些模型都能高效运行，以充分利用可用的硬件资源。

开发人员可以轻松访问这些模型，专注于构建 AI 应用，而不必担心底层基础架构的复杂性（如 GPU）。 

企业 IT 可以监控各个业务部门的模型使用情况，并根据各业务部门的 AI 服务消耗量进行费用分摊。IT 部门还可以应用 AI 管理最佳实践来简化模型部署和维护（如版本控制、回归测试）。

以下是 IT 部门成为企业私有 AI 提供商的一些优势：

• 降低复杂性：集中式 MaaS 可帮助用户消除 AI 基础架构的复杂性
• 降低成本：通过集中提供模型推理服务，帮助降低成本
• 提高安全性：不使用第三方托管模型，符合现有的安全、数据和隐私策略
• 加速创新：加快模型部署和相关创新速度，从而缩短 AI 应用的上市时间
• 避免重复：避免不同业务部门之间重复部署稀缺的 AI 资源——数据科学家可以提供常见企业任务所需的优化模型
• 自由选择：消除供应商锁定，同时保持 AI 工作负载的可移植性

深入探究 MaaS

该 MaaS 解决方案堆栈由红帽 OpenShift AI、API 网关（红帽 3scale API 管理的一部分）和红帽单点登录（SSO）组成。该解决方案可在单一平台上提供端到端 AI 治理、零信任访问（红帽构建的 Keycloak）、AI 推理服务器（vLLM）和混合云灵活性（OpenShift AI）。它还采用一致的工具，支持通过红帽 OpenShift 在本地环境和云端部署解决方案。

让我们更详细地了解下每个组件。

API 网关

API 网关提供企业级模型 API 控制。此解决方案堆栈基于 3Scale API 网关，但也可以改用任何企业级 API 网关。以下是采用此 API 网关的一些优势：

• 安全性与合规性
  • 通过 JWT/OAuth2 实施 API 身份验证以实现 LLM 访问
  • 对与 LLM 服务之间往来的所有 API 流量进行加密
  • 合规性审计日志（GDPR、HIPAA、SOC2）
• 使用率优化
  • 设置速率限制和配额，以防止成本超支
  • 按团队/项目监控 LLM API 使用情况
  • 识别未使用或过度使用的端点
• 混合部署支持
  • 跨云/本地一致地管理 API（通过 OpenShift 集成）
  • 为私有 LLM 实例部署专用 API 网关
• 开发人员支持
  • 自助服务开发人员门户网站，供您探索 LLM API
  • 自动化 API 文档和测试
• OpenShift AI 集成
  • 对 OpenShift AI 上部署的模型实施监管
  • 跟踪 AI/ML API 与传统服务的使用情况

身份验证

身份验证组件为 LLM 服务提供统一的身份管理。此解决方案堆栈基于红帽 SSO，但也可以改用任何其他企业级身份验证解决方案。以下是身份验证的一些优势：

•  零信任安全防护
  • 面向所有 LLM 工具的集中式身份验证（OIDC/SAML）
  • 基于角色的访问权限控制（RBAC），实现细粒度权限管理
  • 针对敏感的 AI 工作负载提供多重身份验证（MFA）支持
• 企业身份集成
  • 连接到 Active Directory、LDAP 或其他身份提供商
  • 自动化用户置备/取消置备
• 可扩展的访问权限管理
  • 所有内部 AI 门户网站的单点登录
  • 通过会话管理满足合规性要求
• 混合云就绪
  • 安全访问在任意位置（公共云/本地）运行的 LLM
  • 跨环境的一致策略

OpenShift AI 集成

• 针对 OpenShift AI 信息面板和模型端点的 SSO
• 适用于平台用户和 API 消费者的统一身份认证体系

推理服务器

此解决方案堆栈使用 vLLM 作为推理服务器。vLLM 框架支持多模态模型、嵌入和奖励建模，并在基于人类反馈的强化学习（RLHF）工作流中得到日益广泛的应用。凭借高级调度、区块预填充、多 LoRA 批处理和结构化输出等功能，vLLM 在推理加速和企业级部署方面实现了优化。

vLLM 还提供 LLM 压缩工具，以便客户优化自己的调优模型。

AI 平台

该解决方案堆栈利用 OpenShift AI 来提供模型服务并交付创新型应用。OpenShift AI 为企业提供全方位的 AI 支持，涵盖数据获取和准备、模型训练和微调、模型服务和模型监控以及硬件加速。

最新版本的 OpenShift AI 旨在通过提供针对预先优化的较小模型的访问权限，从而提高效率。此外，它还通过基于 vLLM 框架的分布式服务，帮助管理推理成本。 

OpenShift AI 既可以作为自助管理软件提供，也可作为 OpenShift 上的全托管云服务提供，借助这个注重安全且灵活的平台，您可以自由选择在任何位置开发和部署模型，无论是在本地、公共云中还是在边缘。

结语

随着企业构建和扩展各种 AI 解决方案，使用第三方托管模型的成本变得越来越高昂，且往往伴随着难以接受的数据隐私风险，因为企业数据可能会泄露给第三方。自托管 AI 模型有助于解决数据隐私问题，但也可能会使各个业务部门重复工作，导致成本增加并延迟上市时间。

模型即服务（MaaS）这一全新的方法可使企业提供开源模型，作为整个企业的共享资源。开发人员可以便捷地访问这些模型，从而专注于构建 AI 应用，而不必担心底层基础架构。企业 IT 团队可以监控各个业务部门的模型使用情况，并根据各团队或项目的 AI 服务消耗量进行费用分摊。

借助 MaaS 方法，企业能够超越零散的 AI 项目实践，迈向全面提升企业组织 AI 能力的战略转型。 

了解更多

• 查看 MaaS 解决方案架构以了解更多信息，或通过可视化导览快速掌握解决方案全貌。
• 访问模型即服务存储库，打造您的专属 MaaS 解决方案。
• 如需其他服务，请联系红帽咨询。
• 了解量化的优势。
• 观看 InstructLab 的实际应用视频。

¹ IDC 指南，Completing the Agentic Journey（完成代理式转型之旅），2025 年 4 月