红帽 AI 推理服务器
红帽® AI 推理服务器可优化混合云中的推理，实现更快、更具成本效益的模型部署。
什么是推理服务器？
推理服务器是一种软件，它使得人工智能（AI）应用能够与大语言模型（LLM）进行通信，并基于数据生成响应。这一过程称为推理。它是实现商业价值、交付最终结果的关键环节。
要实现高效运行，大型语言模型需要庞大的存储、内存和基础架构来支持进行大规模推理，而这往往会耗尽您的大部分预算。
作为红帽 AI 平台的一部分，红帽 AI 推理服务器对推理能力进行了优化，从而降低了传统模式下高昂的成本和对庞大基础架构的需求。
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
红帽 AI 推理服务器简介
红帽 AI 推理服务器的工作原理是什么？
红帽 AI 推理服务器可提供快速且经济高效的大规模推理。其开源特性使其能够在任意云环境中，支持任何 AI 加速器上的任意生成式 AI（Gen AI）模型。
推理服务器由 vLLM 提供支持，可最大限度提高 GPU 利用率，加快响应速度。结合 LLM Compressor 的功能，还可以在不影响性能的情况下进一步提升推理效率。凭借跨平台适应性以及不断壮大的贡献者社区，vLLM 正逐渐成为生成式 AI 推理领域的“Linux®”。
50% 部分客户通过使用 LLM Compressor，在不牺牲性能的前提下实现了 50% 的成本节省。*
*Zelenović 和 Saša。“Unleash the full potential of LLMs: Optimize for performance with vLLM（释放大语言模型的全部潜能：借助 vLLM 优化性能）。” 红帽博客，2025 年 2 月 27 日。
红帽 AI 技术支持
作为 vLLM 最大的商业贡献者之一，我们对这项技术有着深入的理解。我们的 AI 顾问具备专业的 vLLM 技术能力，可助力您实现企业 AI 目标。
如何购买
红帽 AI 推理服务器既可作为独立产品购买，也可作为红帽 AI 的一部分获取。它已包含在红帽企业 Linux® AI 和红帽 OpenShift® AI 中。
与合作伙伴共同部署
红帽 AI 汇聚了众多专家和各种技术，让客户能够利用 AI 实现更多目标。了解与红帽携手同行的所有合作伙伴，以认证他们的产品能否与我们的解决方案无缝衔接。
2025 年红帽全球峰会和 AnsibleFest 大会 AI 客户案例集锦
土耳其航空公司通过实现企业范围内的数据访问，将部署速度提高了一倍。
JCCM 利用 AI 技术，改进了该地区的环境影响评估（EIA）流程。
Denizbank 将上市时间从数天缩短到数分钟。
Hitachi 借助红帽 OpenShift AI 在整个业务范围内实施了 AI。
常见问题
是否需要购买红帽企业 Linux AI 或红帽 OpenShift AI，才能使用红帽 AI 推理服务器？
不需要。红帽 AI 推理服务器可作为独立的红帽产品单独购买。
是否需要购买红帽 AI 推理服务器，才能使用红帽企业 Linux AI？
不需要。购买红帽企业 Linux AI 或红帽 OpenShift AI 时，红帽 AI 推理服务器已包含在内。
红帽 AI 推理服务器能否在红帽企业 Linux 或红帽 OpenShift 上运行？
可以。在遵循第三方协议的前提下，它还能在第三方 Linux 环境中运行。
红帽 AI 推理服务器如何定价？
按加速器数量定价。
能够满足您需求并按您意愿运行的 AI。
生成式 AI
制作文本和软件代码等新内容。
借助红帽 AI，您可以更快地运行您选择的生成式 AI 模型，同时减少资源消耗并降低推理成本。
预测性 AI
应用模式并预测未来结果。
借助红帽 AI，企业组织能够构建、训练、部署和监控预测模型，同时在混合云环境中始终保持一致性。
运营化 AI
创建支持大规模维护和部署 AI 的系统。
借助红帽 AI，在节省资源并确保遵守隐私法规的同时，管理与监控支持 AI 的应用的生命周期。
代理式 AI
构建在有限监督下执行复杂任务的工作流。
红帽 AI 为在现有应用中构建、管理和部署代理式 AI 工作流提供了灵活的方法和稳定的基础。
