Red Hat y NVIDIA: Establecimiento de estándares para la inferencia de inteligencia artificial de alto rendimiento

Red Hat se enorgullece de anunciar los resultados líderes del sector de los últimos indicadores de machine learning (ML) MLPerf Inference v6.0, obtenidos mediante el codiseño de ingeniería profunda con NVIDIA. Estos resultados demuestran que cuando combinas el liderazgo en open source de Red Hat con la infraestructura de inteligencia artificial líder de NVIDIA, obtienes una plataforma versátil y probada, lista para cualquier carga de trabajo de inferencia empresarial, desde la visión y el habla hasta el razonamiento complejo.

Nuestras presentaciones más recientes se centraron en maximizar el potencial de los sistemas NVIDIA HGX H200 y NVIDIA HGX B200, lo que demuestra que la optimización del software es tan crítica como la potencia bruta para alcanzar el máximo retorno sobre la inversión (ROI).

Resultados de un vistazo

En todos los modelos de lenguaje, visión y voz, el stack de Red Hat ofreció resultados de primer nivel en cuanto a rendimiento y latencia en la infraestructura de inteligencia artificial de NVIDIA.

Qwen3-VL-235B (modelo de visión multimodal)

El modelo Qwen3-VL-235B, un modelo de visión-lenguaje multimodal masivo de 235 000 millones de parámetros, representa un desafío importante para los motores de inferencia debido a las resoluciones de imagen muy variables. Al usar las GPU NVIDIA Blackwell que se ejecutan en Red Hat Enterprise Linux (RHEL) con vLLM y NVIDIA Dynamo, logramos el rendimiento sin conexión más alto de nuestra categoría. Cabe destacar que nuestra presentación de Blackwell superó al siguiente mejor competidor en un 50 % en el escenario de servidor.

Beneficios clave de ingeniería:

• Mejoras basadas en Triton: Las optimizaciones en el codificador de visión permitieron que el procesamiento de ViT fuera entre un 30 % y un 40 % más rápido.
• Kernels de FlashInfer Mixture-of-Experts (MoE): Estos kernels especializados gestionaron la arquitectura de MoE con una eficiencia extrema.
• Atención multimodal FP8: Aprovechamos los formatos de datos avanzados de NVIDIA para reducir el costo por token sin sacrificar la precisión.

GPT-OSS-120B

Nuestra presentación para GPT-OSS-120B marca la primera vez que se evalúa un modelo de esta escala en una infraestructura de Kubernetes para MLPerf. Al usar Red Hat OpenShift AI y el programador llm-d, demostramos que la inferencia distribuida puede escalar de manera efectiva en la infraestructura de NVIDIA AI (GPU H200 y B200) mientras se mantienen requisitos estrictos de latencia.

Adoptamos una estrategia doble para optimizar el rendimiento de la inferencia. En primer lugar, nuestro flujo de trabajo de ajuste de hiperparámetros basado en la optimización bayesiana en OpenShift identificó una configuración óptima para una sola réplica que redujo el tiempo hasta el primer token (time-to-first-token, TTFT) P99 de 3,4 segundos a 2,1 segundos (una mejora de aproximadamente el 38 %), lo que cumple con el objetivo de menos de 3 s.

En segundo lugar, optimizamos el rendimiento de varias réplicas al perfeccionar nuestra estrategia de puntuación y equilibrio de carga. Al analizar la distribución de las solicitudes en las réplicas, mejoramos el uso y minimizamos la latencia de cola, lo que permitió un escalamiento más uniforme bajo carga.

Whisper large-V3 (conversión de voz a texto)

Enviamos los resultados de Whisper-large-v3 sobre las GPU NVIDIA H200 y NVIDIA L40S, ambas con Red Hat Enterprise Linux (RHEL) y vLLM.

• 8x H200 sin conexión: 36396 tokens por segundo, el resultado líder en H200, un 13 % más rápido que la siguiente sumisión                                           
• 2x L40S sin conexión: 3647 tokens por segundo, la primera y única sumisión de L40S para Whisper en MLPerf Inference v6.0

Estos resultados se obtuvieron a partir de un estudio de ablación sistemático en los parámetros de configuración para identificar las optimizaciones más importantes para la inferencia de Whisper. El ajuste del tamaño de los lotes generó un aumento del 40 % en el rendimiento al maximizar el uso de la GPU, la programación asíncrona contribuyó con un 12,8 % adicional al eliminar las detenciones de sincronización entre CPU y GPU, y CUDA Graphs proporcionó un 6 % más. Con L40S ampliamente implementado en entornos sensibles a los costos, nuestros resultados muestran que un stack de inferencia open source ofrece un rendimiento de reconocimiento de voz de primer nivel en hardware de alta gama y rentable.

Mayor eficiencia y ROI

El stack de software de Red Hat utiliza el software de inferencia NVIDIA Dynamo, vLLM de Red Hat AI y llm-d para ofrecer mejoras significativas de eficiencia en la infraestructura de computación acelerada de NVIDIA. Al optimizar cada capa del stack, desde el kernel de RHEL hasta los motores de inferencia, ayudamos a las empresas a reducir su costo por token y a mejorar el retorno sobre la inversión general de sus inversiones en NVIDIA. Ya sea que realices implementaciones de forma local o en la nube, Red Hat ofrece una base de alto rendimiento comprobada para la próxima generación de inteligencia artificial con agentes y multimodal.

¿Quieres replicar nuestros resultados? Aquí te explicamos cómo… Repo

Consulta los resultados completos de MLPerf Inference v6.0 en mlcommons.org y obtén más información sobre Red Hat AI.