红帽 AI 推理服务器
红帽® AI 推理服务器可优化混合云中的模型推理，实现更快、更具成本效益的模型部署。
什么是推理服务器？
推理服务器是一种软件，支持人工智能（AI）应用与大语言模型（LLM）交互，并根据数据生成响应。这个过程就叫做推理。这正是业务价值实现之处，也是最终成果的交付环节。
为确保高效执行，LLM 需要大量的存储空间、内存和基础架构来实现规模化推理——因此，它们往往会占据预算的主要部分。
作为红帽 AI 平台的关键组件，红帽 AI 推理服务器可通过优化推理能力，有效降低传统方案的高昂成本与庞大基础架构需求。
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
红帽 AI 推理服务器简介
红帽 AI 推理服务器的工作原理
红帽 AI 推理服务器可提供快速且经济高效的大规模推理能力。开源架构使它能够灵活支持任何生成式 AI 模型，可在任何 AI 加速器上运行，适配所有云环境。
推理服务器由 vLLM 提供支持，可最大限度提高 GPU 利用率，加快响应速度。结合 LLM Compressor 的压缩能力，可在不牺牲性能的前提下提升推理效率。凭借强大的跨平台兼容性和不断壮大的贡献者社区，vLLM 正在成为生成式 AI 推理领域的 Linux®。
50% 一些使用 LLM Compressor 的客户在不影响性能的前提下节省了 50% 的成本。*
*Zelenović, Saša，“释放 LLM 的全部潜力：使用 vLLM 优化性能”。红帽博客，2025 年 2 月 27 日。
红帽 AI 技术支持
作为 vLLM 项目数一数二的企业级贡献方，红帽对该技术有着深刻的理解。我们的 AI 咨询团队拥有深厚的 vLLM 专业实力，可助力企业实现 AI 战略目标。
如何购买
红帽 AI 推理服务器既支持单独使用，也已集成在了红帽 AI 平台中。该产品已内置于红帽企业 Linux® AI 和红帽 OpenShift® AI 解决方案中。
与合作伙伴共同部署
汇聚行业专家与领先技术，只为助力我们的客户在 AI 领域创造更多价值。探索所有与红帽携手完成兼容性认证的合作伙伴，打造更值得信赖的 AI 解决方案。
常见问题解答
是否需要购买红帽企业 Linux AI 或红帽 OpenShift AI 才能使用红帽 AI 推理服务器？
不需要。红帽 AI 推理服务器可单独购买。
是否需要购买红帽 AI 推理服务器才能使用红帽企业 Linux AI？
不需要。如果您购买红帽企业 Linux AI 或红帽 OpenShift AI，红帽 AI 推理服务器已包含在内。
红帽 AI 推理服务器是否可以在红帽企业 Linux 或红帽 OpenShift 上运行？
是的，可以。根据我们的第三方支持协议，该产品也可以在第三方 Linux 环境中运行。
红帽 AI 推理服务器如何定价？
按加速器数量定价。
