Inferencias rápidas y eficientes con Red Hat AI

vLLM es un motor de inferencia diseñado para aumentar al máximo el rendimiento y agilizar los tiempos de respuesta en todos los aceleradores de hardware. Utiliza el algoritmo PagedAttention para optimizar el uso de la GPU y acelerar los resultados de las aplicaciones de inteligencia artificial generativa. 

vLLM permite optimizar la implementación de cualquier modelo de inteligencia artificial generativa en cualquier acelerador de inteligencia artificial, mientras el comportamiento de las inferencias se mantiene controlado y predecible en los entornos de producción.

llm-d es un marco open source de Kubernetes que agiliza la inferencia distribuida de los LLM a gran escala. 

Esto significa que cuando un modelo de inteligencia artificial recibe consultas complicadas con muchos datos, llm-d proporciona un marco que acelera el procesamiento. Gracias a su arquitectura modular accesible, llm-d es una plataforma ideal para la inferencia distribuida de los LLM a gran escala: puedes contar con un proceso de inferencia adaptable mientras mantienes la uniformidad, la supervisión y el control en todas las cargas de trabajo distribuidas.

Usa los indicadores y la información de los modelos en producción para detectar las áreas y las maneras en las que puedes mejorarlos. Descubre los indicadores de rendimiento específicos de los modelos, como el tiempo que demoras hasta obtener el primer token, la tasa de aciertos de la caché de clave-valor (KV) y el uso de la GPU. Utiliza estos indicadores para supervisar el rendimiento, detectar anomalías y permitir que la inferencia cumpla los requisitos operativos, de seguridad y de políticas. 

Optimiza la elección de modelos base o personalizados con un variado kit de herramientas de modelos. Utiliza técnicas como la cuantificación o la dispersión para reducir los requisitos del hardware y los costos de la inferencia. 

En el kit, se incluyen herramientas como LLM Compressor, que aprovecha las últimas investigaciones en compresión de modelos para reducir el tamaño de los modelos de lenguaje de gran tamaño, aumentar su eficiencia energética y acelerar su funcionamiento. De este modo, disminuyen los requisitos de hardware y mejoran la eficiencia, sin comprometer la precisión.

Además de su función principal, LLM Compressor se integra fácilmente a muchas otras herramientas y plataformas. Permite realizar inferencias dentro del ecosistema de Hugging Face Transformers, lo que posibilita que los equipos validen la precisión de los modelos antes de implementarlos. También se integra a marcos de perfeccionamiento, de manera que los usuarios pueden mantener la dispersión durante el entrenamiento supervisado.

Ayuda a lograr todo lo anterior y, a la vez, mantener la validación, la capacidad de replicación y el control sobre el comportamiento de los modelos antes de su implementación.

Obtén más información sobre LLM Compressor

Red Hat AI incluye la integración de una puerta de enlace de API gestionada que permite que los ingenieros de plataformas de inteligencia artificial configuren funciones de modelos como servicio internas. Brinda una forma abierta, modular e independiente del proveedor para implementar y gestionar los modelos en los entornos de nube híbrida.

El acceso controlado a los modelos a través de una arquitectura de MaaS unificada te permite controlar quién puede acceder a cada modelo, hacer cumplir las políticas y supervisar el uso de todos los usuarios, las aplicaciones y los agentes. Esto posibilita un consumo de modelos a gran escala confiable, auditable y basado en políticas.

Al contar con maneras más sencillas de utilizar los modelos de inteligencia artificial y los recursos de la GPU, los desarrolladores pueden optimizar el acceso a los endpoints de las API y los ingenieros de plataformas pueden controlar, dirigir y supervisar el acceso para sus modelos autoalojados de alto rendimiento.

Una estrategia abierta para la gestión del acceso a los modelos, cuando se combina con una stack de inferencias que respalda la demanda impredecible y el ajuste de los modelos y los agentes, brinda una base sólida para la inteligencia artificial con agentes, el perfeccionamiento de modelos y la inteligencia artificial a gran escala.

Utiliza cualquier modelo de inteligencia artificial generativa o elige uno de nuestro conjunto optimizado de modelos open source de terceros, que están validados para ejecutarse con eficiencia en la plataforma de Red Hat AI.

La validación de modelos de Red Hat AI se lleva a cabo con herramientas open source como GuideLLM, Language Model Evaluation Harness y vLLM. Esto facilita la replicación para los clientes y garantiza la validación, la confiabilidad y la uniformidad de la implementación de los modelos en todos los entornos.