Red Hat AI Inference Server

Red Hat® AI Inference Server optimiza la inferencia en la nube híbrida para realizar implementaciones de modelos de manera más rápida y rentable. 

Imagen principal de Red Hat AI Inference Server

¿Qué es un servidor de inferencia?

Es el software que permite que las aplicaciones de inteligencia artificial se comuniquen con los modelos de lenguaje de gran tamaño (LLM) y generen una respuesta basada en los datos. A este proceso se lo conoce como inferencia, que es donde se genera el valor empresarial y se obtienen los resultados.

Los LLM necesitan una gran capacidad de almacenamiento, memoria e infraestructura para realizar inferencias a gran escala y funcionar de manera eficiente, por lo que pueden suponer un gran porcentaje de tu presupuesto. 

Sabemos que un hardware y un software que admitan las funciones de inferencia determinarán el éxito o el fracaso de tu estrategia de inteligencia artificial. Red Hat AI Inference Server optimiza la inferencia para que conserves la rentabilidad y permitas que tus equipos se expandan.

Inferencia de IA rápida y rentable con Red Hat AI Inference Server. Duración del video: 2:28

Introduction to Red Hat AI Inference Server

Funcionamiento de Red Hat AI Inference Server

Red Hat AI Inference Server proporciona inferencias rápidas y rentables a gran escala. Su naturaleza open source permite que admita cualquier modelo de inteligencia artificial generativa en cualquier acelerador de inteligencia artificial en cualquier entorno de nube. 

Al estar impulsado por los modelos de lenguaje de gran tamaño virtuales (vLLM), el servidor de inferencia aprovecha al máximo el uso de la unidad de procesamiento gráfico (GPU) y facilita tiempos de respuesta más rápidos. Cuando se combina con las funciones de LLM Compressor, la eficiencia de la inferencia aumenta sin comprometer el rendimiento. Gracias a su capacidad de adaptación en varias plataformas y la comunidad de colaboradores cada vez más grande, los vLLM se están convirtiendo en el Linux® de la inferencia de inteligencia artificial generativa. 

50 %

Algunos clientes que utilizaron LLM Compressor lograron un ahorro del 50 % sin comprometer el rendimiento*. 

* Zelenović, Saša. "Aprovecha todo el potencial de los LLM: optimiza el rendimiento con los vLLM”. Blog de Red Hat, 27 de febrero de 2025. 

Tú eliges los modelos

Red Hat AI Inference Server es compatible con todos los modelos open source líderes con portabilidad flexible de la GPU. También puedes ejecutar modelos que no se limitan al texto o el código, como los geoespaciales, que pueden interpretar tu entorno físico. 

Utiliza cualquier modelo de inteligencia artificial generativa o elige uno de nuestro conjunto optimizado de modelos open source de terceros, que están validados para ejecutarse con eficiencia en la plataforma de Red Hat AI. 

La validación de modelos se lleva a cabo con herramientas open source como GuideLLM, Language Model Evaluation Harness y vLLM para garantizar la capacidad de replicación a los clientes.

vLLM

Con los vLLM, se logra un uso eficiente de la memoria y un mayor uso de la GPU para ofrecer una inferencia de modelos más eficiente. Optimiza la implementación de cualquier modelo de inteligencia artificial generativa en cualquier acelerador de inteligencia artificial con los vLLM.

LLM Compressor

Comprime cualquier tipo de modelo y disminuye el uso de los recursos informáticos, así como sus costos relacionados, mientras conservas una alta precisión en las respuestas. 

Arquitectura dispersa de mezcla de expertos (MoE)

Ejecuta arquitecturas dispersas de MoE con agentes de baja latencia y modelos de razonamiento sofisticados para reducir los costos de inferencia sin comprometer el rendimiento.  

Repositorio de Red Hat AI

Los modelos validados y optimizados de terceros están listos para implementar inferencias, de modo que se obtengan resultados más rápido y se mantengan bajos los costos.

Flexibilidad de la nube híbrida

Mantén la portabilidad en distintas GPU y ejecuta los modelos en las instalaciones, en la nube o en el extremo de la red.

Certificación de Red Hat

Red Hat AI Inference Server cuenta con la certificación para todos los productos de Red Hat. También puedes implementarla en otras plataformas de Linux y Kubernetes con el respaldo de la política de soporte de terceros de Red Hat. 

Soporte de Red Hat AI

Somos uno de los mayores colaboradores comerciales de los LLM, por lo que tenemos un amplio conocimiento sobre esta tecnología. Nuestros consultores de inteligencia artificial tienen la experiencia necesaria para ayudarte a cumplir tus objetivos empresariales. 

Métodos de compra

Red Hat AI Inference Server está disponible como un producto independiente o como parte de Red Hat AI. Está incluida en Red Hat Enterprise Linux® AI y en Red Hat OpenShift® AI. 

Implementación con partners

Los especialistas y las tecnologías se unen para que los clientes puedan obtener mejores resultados con la inteligencia artificial. Descubre todos los partners que trabajan con Red Hat para certificar su funcionamiento con nuestras soluciones. 

Logotipo de Dell Technologies
Logotipo de Lenovo
Logotipo de Intel
Logotipo de NVIDIA
Logotipo de AMD

Historias de clientes sobre inteligencia artificial en Red Hat Summit y AnsibleFest 2025

Turkish Airlines

Turkish Airlines duplicó la velocidad de la implementación al brindar acceso a los datos en toda la empresa.

Logotipo de JCCM

JCCM mejoró los procesos de evaluación del impacto ambiental (EIA) de la región con la inteligencia artificial.

DenizBank

DenizBank agilizó el tiempo de comercialización de días a minutos.

Logotipo de Hitachi

Hitachi implementó la inteligencia artificial en toda su empresa con Red Hat OpenShift AI.

Preguntas frecuentes

¿Debo adquirir Red Hat Enterprise Linux AI o Red Hat OpenShift AI para utilizar Red Hat AI Inference Server?

No. Puedes adquirir Red Hat AI Inference Server como un producto independiente de Red Hat. 

¿Debo adquirir Red Hat AI Inference Server para usar Red Hat Enterprise Linux AI?

No. Red Hat AI Inference Server está incluida en Red Hat Enterprise Linux AI y en Red Hat OpenShift AI. 

¿Se puede ejecutar Red Hat AI Inference Server en Red Hat Enterprise Linux o en Red Hat OpenShift?

Sí. También se puede ejecutar en entornos Linux de terceros según nuestro acuerdo.

¿Cómo se establece el precio de Red Hat AI Inference Server?

El precio se establece por acelerador.

La inteligencia artificial que se adapta a tus necesidades y opera según tus condiciones.

Inteligencia artificial generativa

Inteligencia artificial generativa

Produce contenido nuevo, como texto y código de software. 

Red Hat AI te permite ejecutar los modelos de inteligencia artificial generativa que elijas con mayor rapidez, menos recursos y menos costos de inferencia. 

Inteligencia artificial predictiva

Inteligencia artificial predictiva

Conecta patrones y prevé resultados futuros 

Con Red Hat AI, las empresas pueden diseñar, entrenar, poner a disposición y supervisar los modelos predictivos, mientras mantienen la uniformidad en toda la nube híbrida.

El uso de la inteligencia artificial

El uso de la inteligencia artificial

Crea sistemas que respalden el mantenimiento y la implementación de la inteligencia artificial a gran escala. 

Con Red Hat AI, puedes gestionar y supervisar el ciclo de vida de las aplicaciones que utilizan la inteligencia artificial, ahorrar recursos y garantizar el cumplimiento de las normas de privacidad. 

Inteligencia artificial con agentes

Inteligencia artificial con agentes

Diseña flujos de trabajo que lleven a cabo tareas complejas con supervisión limitada. 

Red Hat AI ofrece un enfoque flexible y una base estable para diseñar, gestionar e implementar flujos de trabajo de inteligencia artificial con agentes dentro de las aplicaciones actuales.

Recursos adicionales de inteligencia artificial

Aprende a implementar la inteligencia artificial en la empresa

Aprende a implementar la inferencia de inteligencia artificial

Webinar: How to boost performance and optimize costs

Comunícate con el Departamento de Ventas

Habla con un representante de Red Hat sobre Red Hat AI