依托红帽 AI 实现快速高效的推理

vLLM 是一款推理引擎，旨在最大限度提升各类硬件加速器的吞吐能力并缩短响应时长。它采用 PagedAttention 算法优化 GPU 资源利用率，加快生成式 AI 应用的内容输出速度。 

借助 vLLM，可在任意 AI 加速器上优化任意生成式 AI 模型的部署，同时确保生产环境中的推理行为可控且可预测。

llm-d 是一种开源的 Kubernetes 原生框架，可加速大规模的分布式 LLM 推理。 

这意味着当 AI 模型接收到数据量庞大的复杂查询时，llm-d 能够提供一套框架来加速这一处理过程。其易用的模块化架构，使 llm-d 成为实现大规模分布式 LLM 推理的理想平台。 在支持推理能力弹性扩展的同时，保障分布式工作负载的运行一致性、管控能力与合规治理。

依托生产环境中的指标与洞察，找出模型可优化的方向与方式。查看特定于模型的性能指标，例如首个词元生成时间、KV 缓存命中率和 GPU 利用率。 借助这些指标监控性能、识别异常问题，保障推理服务符合运维、安全及各项策略要求。 

借助丰富的模型工具集，优化您对基础模型与定制化模型的选择。通过量化或稀疏化等技术，降低硬件要求并削减推理成本。 

工具集内包含 LLM Compressor 等工具。它可利用最新模型压缩技术，使 LLM 更小巧、更节能、更快速。这可降低硬件要求并提升效率，且不影响模型准确性。

除核心功能外，LLM Compressor 可与各类工具和平台广泛集成。它支持在 Hugging Face Transformers 生态系统中完成推理，实现部署前精度校验；还可对接模型微调框架，让用户在有监督训练的过程中保留模型稀疏特性。

该工具在实现上述各项优化的同时，还可在部署前保障模型可验证、结果可复现，并实现对模型行为的管控。

进一步了解 LLM Compressor

红帽 AI 集成了托管式 API 网关，让 AI 平台工程师可以构建内部模型即服务（MaaS）能力。它以开放、模块化且不受供应商限制的方式，支持在混合云环境中部署和运行模型。

依托集中式 MaaS 架构管控模型访问权限，可限定特定模型的访问主体，执行管理策略，并监测用户、应用与代理的使用情况，这有助于大规模、可靠、可审计且符合策略要求地使用模型。

开发人员可以更轻松地使用 AI 模型与 GPU 资源，快速接入 API 端点；而平台工程师则可以对高性能自托管模型的访问和使用进行控制、治理与监控。

搭配支持模型与代理的突发需求及大规模负载的推理架构，开放式模型访问管理策略可为代理式 AI、模型微调与规模化 AI 应用奠定坚实基础。

您可以使用任意生成式 AI 模型，也可以从我们经过优化的开源和第三方模型集合中进行选择。这些模型均经过验证，可在红帽 AI 平台上高效运行。

红帽 AI 借助 GuideLLM、Language Model Evaluation Harness 和 vLLM 等开源工具进行模型验证。 此举可保障客户获得可复现的运行结果，确保模型经过验证且值得信赖，可跨环境统一部署。