我们在上一版本的红帽 OpenShift AI 中，已为企业级 AI 基础架构奠定了坚实基础。如今，随着 OpenShift AI 3.3 的发布，我们正在解决那些经常阻碍 AI 项目投入生产的两极冲突问题——既要满足严格的治理需求，又亟需为开发人员提供快速访问能力。
OpenShift AI 3.3 引入了一套工具，旨在管理集中式的 AI 资产中心，同时针对多模型、多代理的未来格局进行优化。
集中式资产：AI hub
随着企业不再局限于单一模型用例，如何高效地选用合适的模型与资产逐渐成为瓶颈。平台团队需要为其 AI 资产提供一个中央事实来源，以便在配置部署之前对模型进行注册和版本控制，并查看已部署的模型。
他们还需要获得关于模型最佳部署方案的指导，因为评估硬件需求、了解预期的延迟与吞吐量并非易事。
AI hub 正是为解决这些问题而生——它现已成为企业组织 AI 资产的中央存储库，从 OpenShift AI 3.3 中的大语言模型（LLM）开始，到未来版本中的模型上下文协议（MCP）服务器，都包含这一功能。
在 OpenShift AI 3.3 中，AI hub 提供来自红帽 AI 模型验证计划的性能见解和指导，帮助权衡性能、成本与硬件需求。利用这些内容，平台团队能够在部署开始之前引导开发人员选择最高效的配置。
实现大规模治理： 模型即服务（MaaS）
若要自行配置和管理 GPU，并在这些 GPU 上部署 AI 模型，那么构建 AI 应用会非常困难。大多数开发人员、AI 工程师和数据科学家更倾向于直接使用已经启动并运行的模型端点。要求他们承担这些额外工作会拖慢他们的进度，延长价值实现时间，而且无论是在成本、时间还是治理方面，都不具备可扩展性和效率。
另一方面，赋能平台团队将这些模型交付给所有相关人员（为数据科学家和业务团队配备所需的模型），能帮助团队延续他们一贯沿用的应用平台范式。
在这种场景下，平台团队负责模型服务和优化，提供一组集中管理的 AI 模型。他们可以通过基于角色的访问权限策略来实施管控，设置使用限制与条款，并处理模型版本控制。与此同时，最终用户也将获得可用的 API 端点，从而立即开始构建工作。
OpenShift AI 3.3 推出了 MaaS 的技术预览版，旨在帮助企业组织成为自己的内部 AI 模型提供商。
- 对于管理员：可在 UI 中定义精细的速率限制策略。例如，您可以为日常任务中使用的小型模型分配高配额访问权限，同时对资源密集型前沿模型实施更严格的限制。
- 通过
llm-d 实现路由优化：该功能可与 llm-d（Kubernetes 原生分布式推理框架）协同工作。在您设置策略时，llm-d会优化请求路由，从而在不违反服务级别协议（SLA）的前提下，尽可能高效地使用您的硬件。
加快开发人员速度：生成式 AI 工作室
平台团队部署的模型或资产需要进行集中注册与呈现，以便 AI 工程师和开发人员能够使用这些资源开始构建工作。
开发人员还需要一个位置来集中试验这些模型和资产，该位置应支持即装即用的方式，使他们能够找到最适合其用例的模型、提示或工具，同时将部署这些内容所需的基础架构的复杂性抽象化，以简化使用。
我们的生成式 AI 工作室技术预览版为开发人员提供了所需的试验平台和工具，帮助他们从寻找提示过渡到试点阶段。
- AI Playground：支持试验提示、模型参数和 MCP 工具。 在 OpenShift AI 3.3 中，您可以导入自己的 MCP 服务器，并灵活开启或关闭特定工具，从而确保可靠代理行为所需的确定性。从 OpenShift AI UI 切换至本地环境后，可通过 OpenShift AI 3.3 中的“查看代码”功能查看和复制 Playground 配置。我们即将推出的路线图将在此基础上继续演进，通过代码导出、提示管理、检索增强生成（RAG）功能和优化 MCP 工具选择来增强 AI 工程师的体验。
- AI 资产端点：可让您即刻检索 API 密钥和端点，以便在本地 IDE 中开始测试。
弥合生产落地鸿沟：持续评估与优化
将模型部署到生产环境的最大障碍之一并非构建模型本身，而在于管理成本并确保质量不会出现偏差。
- 通过模型压缩实现成本优化：OpenShift AI 3.3 引入了适用于 LLM Compressor（GitHub）和 GuideLLM（GitHub）的引导式工作台，这两款开源工具均由红帽主导并使用，用于对模型进行基准测试和压缩，这是我们模型验证计划的重要组成部分。您现在可以直接在自己的环境中对模型进行基准测试和压缩（例如通过量化技术），并比较性能提升效果。阅读这篇 LLM Compressor 博客文章，详细了解压缩模型的价值。
- 使用 MLflow 进行实验跟踪：我们推出了 MLflow 集成的开发人员预览版。压缩和基准测试有助于解决迫在眉睫的性能问题，而 MLflow 则为您的 AI 生命周期提供了“历史记忆”。通过将
Guidellm结果和应用响应记录到 MLflow 中，您可以随着时间的推移跟踪回归与质量变化，确保优化操作不会影响准确性。 - 循环可视化：现在，您可以在 MLflow 信息面板中查看压缩实验与推理延迟之间的直接关联，在数据的驱动下进行性能故障排除，而非仅凭经验做出判断。
试用红帽 OpenShift AI
OpenShift AI 3.3 中的功能旨在变革您在平台上管控 AI 功能访问权限的方式。您可以通过安装 OpenShift AI 3.3，亲身体验 AI hub、生成式 AI 工作室预览版以及我们全新的优化工作台。如需了解更多信息，请参阅我们的新闻稿。
您也可以前往红帽产品试用中心试用 OpenShift AI。此试用版提供 60 天的免费访问权限，您可在全托管式环境中测试这些生产级工具。
关于作者
Jenny is a Technical Product Manager at Red Hat AI, where she focuses on the end-to-end platform experience for Red Hat AI Enterprise. She joined Red Hat through the Neural Magic acquisition, where she created user interfaces for LLM benchmarking and an AI control plane. Before moving into AI, she consulted for healthcare organizations and public health agencies, experiences that shape her focus on building AI tooling that supports practitioners in high-stakes, deeply specialized domains.
Jehlum is a Product Manager in the Red Hat AI team. She's focused on building platforms for generative AI applications. I am especially interested in data processing, observability, safety, evaluation - all key components to build production-grade generative AI applications on platforms that scale.
Taylor specializes in helping global enterprises transition Generative AI from experimental pilots to production-scale deployments. A specialist in large-scale inference and agentic systems, Taylor bridges the gap between complex infrastructure and practical application development. She is a dedicated advocate for open-source ecosystems, leveraging projects such as vLLM, llm-d and MLflow to build sovereign, secure, and observable AI stacks. Her work is centered on empowering organizations to reclaim control over their AI lifecycle through transparent and scalable open-source solutions.
