红帽企业 Linux AI
红帽® 企业 Linux® AI 平台可用于在独立的服务器环境中运行大语言模型(LLM)。该解决方案包含红帽 AI 推理服务器,通过最大限度地提高吞吐量并尽可能减少延迟,在混合云中实现快速且经济高效的推理。
什么是红帽企业 Linux AI?
红帽企业 Linux AI 汇集了:
- 红帽 AI 推理服务器:支持广泛的硬件,可在混合云中实现快速且一致的模型部署。
- 红帽企业 Linux 的可引导镜像:包括 PyTorch 等热门 AI 库,以及针对英伟达、英特尔和 AMD 的硬件优化推理。
- 企业级技术支持和开源保证法律保护。
快速且灵活的推理
在实施生成式 AI 时,您有两种选择:调整自身策略以适配预构建产品,或是开发直接契合业务目标的自定义解决方案。
红帽企业 Linux AI 植根于开源技术,提供了安全可靠的基础架构,支持在混合云环境中、任意硬件上、搭配任意加速器运行任意模型。该解决方案包含红帽 AI 推理服务器,这是一个专为推理任务而设计的不可变设备。操作系统则与 AI 推理服务器进行了整合,支持您立即启动模型服务。借助集成的 vLLM 运行时和 LLM Compressor,您还能够最大限度地提高吞吐量并尽量减少延迟,从而实现快速且经济高效的模型部署。
功能和优势
为什么选择红帽 AI?
构建在值得信赖的基础上,跨混合云支持任何硬件加速器上的任何模型和任何代理。红帽 AI 赋予企业组织自由部署的能力,满足其在数据、合规性和成本等方面的需求。
推理
利用由 vLLM 提供支持的快速高效的推理,以及跨混合云在任何加速器上运行任何模型的灵活控制能力,轻松管理模型复杂性。
数据
使用连接企业组织私有数据的模型,自定义特定领域的代理式 AI 用例。
代理
利用治理和控制功能简化部署过程,加速代理式 AI 落地。
平台
在具有开源透明度和混合云可扩展性的基础上,部署有弹性、可信赖的 AI 解决方案。
与合作伙伴共同部署
人工智能(AI)模型训练需要经过优化的硬件和强大的计算能力。通过将红帽企业 Linux AI 与其他集成服务和产品结合使用,可进一步发挥其价值。
常见问题解答
红帽企业 Linux AI 与红帽企业 Linux 有什么区别?
红帽企业 Linux AI 是用于在单个服务器环境中运行 LLM 的基础模型平台。该解决方案包含红帽 AI 推理服务器,通过最大限度地提高吞吐量、尽可能减少延迟并降低计算成本,实现快速且经济高效的混合云推理。
红帽企业 Linux 是由红帽面向商业市场开发的商用开源 Linux 发行版,提供了灵活且稳定的基础以支持混合云创新。
红帽企业 Linux AI 以红帽企业 Linux 可引导镜像的形式提供,其中包含 AI 库和 Granite 模型。
是否需要购买红帽企业 Linux,才能使用红帽企业 Linux AI?
不需要,只需红帽企业 Linux AI 许可证即可,该许可证包含所需的所有组件。
红帽企业 Linux AI 包含哪些内容?
红帽企业 Linux AI 包含一个可引导的红帽企业 Linux 容器镜像,其中集成了以下组件:
- 红帽 AI 推理服务器。
- 开源许可的 Granite 模型。
- Pytorch 及运行时库。
- 加速器驱动程序(适用于英伟达、英特尔、AMD)。
红帽企业 Linux AI 与红帽 OpenShift AI 有什么区别?
红帽企业 Linux AI 在单台服务器中提供开箱即用的大语言模型。该解决方案包含红帽 AI 推理服务器,这是一个专为推理任务而设计的不可变设备。通过将操作系统(OS)与应用打包整合,红帽企业 Linux AI 能够最大限度减少延迟并降低计算成本,从而为混合云中的 AI 推理提供即装即用的运维支持。
红帽 OpenShift® AI 提供了帮助客户大规模构建 AI 赋能应用所需的全部工具。红帽 OpenShift AI 是一个全面集成的 MLOps 平台,可协助管理模型生命周期,确保支持分布式计算、协作工作流、监控以及混合云应用。
红帽 OpenShift AI 包含对红帽企业 Linux AI 的访问权限,因此各团队可以在其 OpenShift AI 架构中使用相同的模型和对齐工具,同时还能受益于更多企业级 MLOps 功能。
红帽企业 Linux AI 如何定价?
红帽企业 Linux AI 许可证按加速器数量定价。
探索更多 AI 资源
选择合适 AI 模型的四个注意事项
利用开源模型,释放 AI 创新潜力
使用开源小语言模型的四个原因
利用红帽 AI 释放生成式 AI 创新潜力
联系销售代表
联系红帽
请填写以下信息,联系我们的销售团队,了解红帽企业 Linux AI 的定价信息。
想要了解有关我们合作伙伴关系的更多信息,请访问我们的目录页面。