红帽 AI 3 助您提高效率、加速交付并实现扩展

在今年 5 月的红帽全球峰会上，我们就红帽 AI 产品组合发布了多则公告，包括：推出红帽 AI 推理服务器和红帽 AI 第三方验证模型，以开发人员预览版形式集成 Llama Stack 和模型上下文协议（MCP）API，以及建立 llm-d 社区项目。作为该产品组合的最新版本，红帽 AI 3 将于 11 月正式发布，可为企业提供众多此类生产就绪型功能。此外，我们还提供更多工具和服务，帮助团队提高效率，更有效地展开协作，并随时随地进行部署。让我们来探索红帽 AI 3 对您的业务意味着什么。

1.通过 SLA 感知型推理实现效率新突破

红帽的战略是跨任何加速器和任何环境为任何模型提供服务。最新的推理改进提供了满足生成式 AI（gen AI）应用服务级别协议（SLA）要求的功能，支持额外的硬件加速器，并且扩展了经过验证和优化的第三方模型的目录。一些亮点包括：

• llm-d 现已在红帽 OpenShift AI 3.0 中全面可用。llm-d 提供 Kubernetes 原生的分布式推理，这对于扩展和管理大语言模型（LLM）的不可预测性至关重要。与许多传统横向扩展工作负载的稳定行为不同，LLM 请求（如提示和响应）可能存在很大差异，导致单体式扩展效率极低。通过智能分配推理过程，llm-d 可实现稳定的资源分配和可预测的响应时间，这对于满足严格的 SLA 要求以及优化企业生成式 AI 应用的经济效益和性能可行性至关重要。
• 最新发布的红帽 AI 推理服务器 3.2 版通过企业级 vLLM 版本实现了稳定、快速且经济高效的推理，并提供对红帽 AI 模型优化功能的访问权限，同时在原有的 NVIDIA 和 AMD GPU 支持基础上，新增对 IBM Spyre 的支持。这种新加速器的集成为客户提供了所需的灵活性、优化和风险管理，助力他们实现其未来 AI 战略。
• 红帽 AI 3 新增一批经过第三方验证和优化的模型，其中包括来自 Open AI、Google 和 NVIDIA 等提供商的前沿开源模型。这简化了模型选择，帮助企业组织降低硬件成本，实现更高的吞吐量，并减少推理期间的延迟。这些企业就绪型模型已发布在红帽 AI Hugging Face 存储库和红帽 OpenShift AI 模型目录中，作为经过扫描且可追溯的容器提供。新模型涵盖多语言、编码、摘要、聊天等多种类型。
• 对于希望成为其用户的模型提供商的企业 IT 组织，OpenShift AI 3.0 以开发人员预览版形式提供了模型即服务（MaaS）功能的访问权限。借助 MaaS，组织可以结合利用基于 API 的模型和自管式模型，实现无法在公共云环境中运行的用例。该版本包含 MaaS 控制平面、集成式 API 网关、基于角色的访问权限控制（RBAC）以及成本跟踪指标，这些功能协同作用，可帮助企业组织集中资源、加速创新并降低与私有 AI 相关的运维成本。

2.加速代理式 AI 创新

在过去十年，云原生开发的演进彻底改变了许多企业组织构建应用的方式。同样，生成式 AI 也颠覆了软件开发标准。现在，第三波 AI 浪潮即将掀起一场更大的变革：代理式 AI。

OpenShift AI 3.0 中的多项新功能有助于为可扩展的 AI 代理式系统和工作流奠定基础，提供加速代理式 AI 交付所需的框架、工具和功能，包括：

• 搭载 Llama Stack 的模块化和自适应 AI 平台 - 为了提高灵活性并简化 AI 代理运维，我们在 OpenShift AI 3.0 中以技术预览版形式发布了 Llama Stack API。这提供了一个标准化入口点来访问广泛的 AI 功能，包括检索增强生成（RAG）、安全防护、评估、遥测、vLLM 推理和 MCP 调用工具等，使企业组织能够集成自己的 API、外部提供商和首选代理框架。红帽 AI 提供了一个值得信赖、全面且一致的平台，让企业组织能够以安全至上的方式，更轻松地在生产环境中大规模部署、管理和运行 AI 代理。
• MCP 支持 - 为加快 AI 代理式系统的部署，OpenShift AI 3.0 以开发人员预览版形式提供了对新兴开放标准 MCP 的支持。MCP 服务器可充当各种外部工具、数据源和应用的标准化“翻译器”。它通过处理与外部应用和数据源的复杂集成，与 Llama Stack API 形成功能互补，使 Llama Stack 无需为每个外部工具定制集成方案。我们还精心挑选了一系列 MCP 服务器，使 ISV 能够将其工具和服务直接连接到红帽 AI。
• 精简的专属体验 - OpenShift AI 3.0 提供 AI 中心和生成式 AI 工作室等专属体验，可满足平台工程师和 AI 工程师的不同需求。AI 中心让平台工程师能够探索、部署和管理 LLM 和 MCP 服务器等基础资产，充当管理 AI 资产的生命周期和治理的中心点。生成式 AI 工作室则为 AI 工程师提供了一个实训环境，用于发现、测试和管理已部署的 AI 资产。AI 工程师可以试验不同的模型，调整超参数，并对聊天和 RAG 等生成式 AI 应用进行原型设计。

3.将模型连接到您的私有数据

红帽 AI 3 提供多种针对特定领域定制 AI 的方式，帮助团队提高模型性能和准确性。从开发人员到数据科学家再到 AI 工程师，各个层级的 AI 专业知识贡献者均可使用红帽 AI 3 中的工具，这有效简化了协作和互操作性。新功能包括：

• 模块化且可扩展的方法 - OpenShift AI 3.0 引入了一个新的模块化且可扩展的模型自定义工具包，体现了 InstructLab 从强大的端到端方法向更灵活方法的演进。该工具包包含用于数据提取、合成数据生成（SDG）、模型调优以及评估的独立专用 Python 库，为团队提供了更精细的控制力和更高效的模型定制路径。这样一来，数据科学家、AI 研究人员和 AI 工程师能够仅选择他们需要的组件，从而更快、更高效地工作。
• 增强的 RAG 功能 - OpenShift AI 现在提供扩展的全新 RAG 体验。通过这一精简的工作流，开发人员和 AI 工程师能够利用 docling 等开源技术轻松访问数据源，并将数据源连接到模型、应用和代理。该平台现在支持 OpenAI 的嵌入和补全 API 以及 Llama Stack 选项，这提供了跨不同环境部署 RAG 解决方案的灵活性，同时保持了功能的一致性。

4.跨混合云扩展 AI

生产力、一致性和卓越的用户体验是成功实施 AI 战略的关键。红帽的目标是提供一个出色的 AI 平台，使企业能够跨混合云一致地构建、调优、部署和管理 AI 模型与代理式应用，从而提供统一的体验，缩短价值实现时间。OpenShift AI 3.0 提供以下功能： 

• 通过模型注册表实现集中控制 - 模型注册表为管理 AI 模型提供了更精简的体验，让团队能够更轻松地发现、复用和管理各种资产，包括客户自己的模型和工件，以及热门的社区和第三方模型选项。这些功能旨在提高生产力、促进一致性，并帮助确保集中式生命周期管理。
• 改进 AI 管道用户体验 - 经过改进的 AI 管道的用户体验为数据科学家和 AI 工程师提供了所需的工具，让他们能够更快地训练和调优模型。这一增强功能通过可运行的示例和可重复使用的组件简化了工作流，同时支持引入您自己的 Argo 工作流，以实现极致的灵活性。
• 增强的可观测性 - 为了让企业组织能够集中了解 AI 性能并增强控制力和一致性，OpenShift AI 3.0 包含基于 OpenTelemetry 可观测性标准的基础平台指标、零配置 GPU 监控、关键 AI 指标（如首令牌生成时间和吞吐量）的参考信息面板，并支持导出 API 以便与企业监控平台顺畅集成。
• 智能 GPU 即服务 - OpenShift AI 3.0 使用高级功能来提高 GPU 利用率，最大限度地提高效率，并支持广泛的工作负载。借助为所有支持 NVIDIA MIG 的设备提供的加速器切片功能，企业可以为多个用户划分 GPU，确保充分利用资源。通过利用 Kueue，该平台支持更多样化的 AI 工作负载，包括 Ray 训练作业、基于训练 Operator 的作业和推理服务，实现跨共享硬件的高效调度和管理。

企业 AI 的全新方法

红帽 AI 的构建基于这样一个理念：企业 AI 并非“一刀切”的解决方案。它是一种战略性、全局性的方法，充分认识到现实世界业务挑战的复杂性和多样性。红帽提供了一个灵活的平台，助力企业组织突破现状，支持在混合云中自由选择任何模型、硬件或部署策略。这种对自由选择、精细控制与效率优化的承诺，构成了我们的差异化优势 - 我们不仅提供 AI，更构建了一个可靠、全面的基础，助力企业组织充分发挥其 AI 投资的价值。

如需了解有关红帽 AI 3 的更多信息，并了解如何为针对您的环境构建 AI，请观看我们的“最新进展与未来方向”现场会议视频，并访问我们的网站。红帽 AI 3 将于 11 月正式发布。