Red Hat AI 3 ofrece velocidad, distribución acelerada y capacidad de ajuste

El pasado mes de mayo, en el Red Hat Summit, hicimos varios anuncios sobre la cartera de productos de inteligencia artificial de Red Hat, incluida la presentación de Red Hat AI Inference Server y los modelos validados por terceros de Red Hat AI, la integración de Llama Stack y las APIs del Model Context Protocol (MCP) como vista previa para desarrolladores, y el establecimiento del proyecto de la comunidad llm-d. La última versión de la cartera, Red Hat AI 3, ofrece muchas de estas funciones listas para la producción para las empresas. Además, ofrecemos más herramientas y servicios para que los equipos puedan aumentar la eficiencia, colaborar de manera más efectiva y realizar implementaciones en cualquier lugar. Veamos qué significa Red Hat AI 3 para tu empresa.

1. Logra nuevos niveles de eficiencia con la inferencia basada en SLA

La estrategia de Red Hat consiste en ofrecer cualquier modelo en cualquier acelerador y entorno. Las últimas mejoras de inferencia ofrecen funciones para cumplir con los acuerdos de nivel de servicio (o SLA del inglés Service Level Agreements) de las aplicaciones de inteligencia artificial generativa (IA gen), brindar soporte para aceleradores de hardware adicionales y un catálogo más amplio de modelos externos validados y optimizados. Algunos aspectos destacados incluyen:

• llm-d ahora está disponible de forma general en Red Hat OpenShift AI 3.0. llm-d proporciona inferencia distribuida nativa de Kubernetes, que es esencial para escalar y gestionar la naturaleza impredecible de los modelos de lenguaje de gran tamaño (LLM). A diferencia del comportamiento uniforme de muchas cargas de trabajo de escalamiento horizontal tradicionales, las solicitudes de LLM, como los avisos y las respuestas, pueden variar mucho, lo que hace que el escalamiento monolítico sea muy ineficiente. Al distribuir de manera inteligente el proceso de inferencia, llm-d ofrece una asignación de recursos uniforme y tiempos de respuesta predecibles, lo cual es fundamental para cumplir con los acuerdos de nivel de servicio (SLA) estrictos y optimizar la viabilidad económica y de rendimiento de las aplicaciones de inteligencia artificial generativa (IA gen) empresariales.
• La última versión 3.2 de Red Hat AI Inference Server ofrece inferencias uniformes, rápidas y rentables a través de una versión empresarial de vLLM y acceso a las funciones de optimización de modelos de Red Hat AI, y amplía el soporte de las GPU de NVIDIA y AMD para incluir ahora IBM Spyre. Esta integración de nuevos aceleradores brinda a los clientes la flexibilidad, la optimización y la gestión de riesgos que necesitan para respaldar sus futuras estrategias de inteligencia artificial.
• Red Hat AI 3 incluye un nuevo lote de modelos validados y optimizados por terceros, que abarcan modelos open source de vanguardia de proveedores como OpenAI, Google y NVIDIA. Esto simplifica la selección de modelos y ayuda a las empresas a reducir los costos de hardware, lograr un mayor rendimiento y disminuir la latencia durante la inferencia. Estos modelos empresariales están disponibles en el repositorio de Red Hat AI Hugging Face y en el catálogo de modelos de Red Hat OpenShift AI como contenedores escaneados y rastreables. Los nuevos modelos incluyen multilingüe, codificación, resumen, chat y más.
• Para las empresas de TI que buscan convertirse en proveedores de modelos para sus usuarios, OpenShift AI 3.0 ofrece acceso a las funciones de Modelos como servicio (MaaS) como versión preliminar para desarrolladores. MaaS permite que las empresas aprovechen una combinación de modelos autogestionados y basados en API para casos prácticos que no pueden ejecutarse en entornos de nube pública. Esta versión incluye un plano de control de MaaS, una puerta de enlace API integrada, control de acceso basado en funciones (RBAC) y métricas de seguimiento de costos, que en conjunto permiten que las empresas centralicen los recursos, aceleren la innovación y reduzcan los costos operativos asociados con la inteligencia artificial privada.

2. Agiliza la innovación de la inteligencia artificial con agentes

La evolución del desarrollo nativo de la nube revolucionó la forma en que muchas empresas diseñaron aplicaciones en la última década. De manera similar, la inteligencia artificial generativa transformó los estándares de desarrollo de software. Ahora, una tercera ola de inteligencia artificial marcará el comienzo de una transformación aún mayor: la inteligencia artificial con agentes (agentic AI).

Varias de las nuevas funciones que se encuentran en OpenShift AI 3.0 ayudan a sentar las bases para los flujos de trabajo y los sistemas ajustables de inteligencia artificial con agentes (Agentic AI), y proporcionan los marcos, las herramientas y las funciones que necesitas para agilizar la distribución de la inteligencia artificial con agentes (Agentic AI), entre las que se incluyen las siguientes:

• Plataforma de inteligencia artificial modular y adaptable con Llama Stack: Para mejorar la flexibilidad y simplificar las operaciones de los agentes de inteligencia artificial, lanzamos la API de Llama Stack como versión preliminar técnica de OpenShift AI 3.0. Esto proporciona un punto de entrada estandarizado para una amplia gama de capacidades de inteligencia artificial, desde la generación aumentada de recuperación (RAG), la seguridad y la evaluación hasta la telemetría, la inferencia con vLLM y la llamada de herramientas con MCP, lo que permite a las empresas integrar sus propias APIs, proveedores externos y marcos de agentes preferidos. Red Hat AI ofrece una plataforma confiable, integral y uniforme que facilita la implementación, la gestión y la ejecución de los agentes de inteligencia artificial en los entornos de producción, de forma segura y a escala.
• Compatibilidad con MCP: para agilizar la implementación de los sistemas de inteligencia artificial con agentes, OpenShift AI 3.0 ofrece compatibilidad con el estándar abierto emergente MCP como versión preliminar para los desarrolladores. El servidor MCP actúa como un "traductor" estandarizado para una amplia gama de herramientas externas, fuentes de datos y aplicaciones. Complementa la API de Llama Stack al manejar las integraciones complejas con aplicaciones y fuentes de datos externas, lo que evita que Llama Stack requiera una integración personalizada para cada herramienta externa. También seleccionamos un conjunto de servidores MCP. Esto permite que los ISV conecten sus herramientas y servicios directamente con Red Hat AI.
• Experiencias optimizadas y específicas: OpenShift AI 3.0 ofrece experiencias específicas, como el AI hub y el gen AI studio, que satisfacen las distintas necesidades de los ingenieros de plataformas y de inteligencia artificial. El AI hub permite que los ingenieros de plataformas exploren, implementen y gestionen los recursos básicos, como los LLM y los servidores MCP. Sirve como el punto central para gestionar el ciclo de vida y el control de los recursos de inteligencia artificial. El gen AI studio ofrece a los ingenieros de inteligencia artificial un entorno práctico para descubrir, probar y gestionar los recursos de inteligencia artificial implementados. Los ingenieros de inteligencia artificial pueden experimentar con diferentes modelos, ajustar hiperparámetros y crear prototipos de aplicaciones de inteligencia artificial generativa, como chat y RAG.

3. Conexión de los modelos con tus datos privados

Red Hat AI 3 permite que los equipos mejoren el rendimiento y la precisión de los modelos, ya que ofrece varias formas de personalizar la inteligencia artificial para tu dominio. Las herramientas de Red Hat AI 3 son accesibles para los colaboradores de todos los niveles de experiencia en inteligencia artificial, desde los desarrolladores hasta los analistas de datos y los ingenieros de inteligencia artificial, lo que permite optimizar la colaboración y la interoperabilidad. Las nuevas funciones incluyen:

• Un enfoque modular y extensible: OpenShift AI 3.0 presenta un nuevo conjunto de herramientas modulares y extensibles para la personalización de los modelos, que ejemplifica el progreso de InstructLab a medida que pasa de una metodología potente e integral a un enfoque más flexible. El kit de herramientas incluye bibliotecas de Python individuales y especializadas para la ingesta de datos, la generación de datos sintéticos (SDG), el ajuste de modelos y la evaluación, lo que brinda a los equipos un mayor control y una ruta más eficiente para la personalización de modelos. Esto permite que los analistas de datos, los investigadores y los ingenieros de inteligencia artificial seleccionen solo los componentes que necesitan, lo cual les permite trabajar con mayor rapidez y eficiencia.
• Funciones de RAG mejoradas: una experiencia de RAG nueva y ampliada ya está disponible en OpenShift AI. Este flujo de trabajo optimizado permite que los desarrolladores y los ingenieros de inteligencia artificial accedan fácilmente a las fuentes de datos con tecnologías open source, como docling, y las conecten con los modelos, las aplicaciones y los agentes. La plataforma ahora admite las APIs de incorporación y finalización de OpenAI junto con las opciones de Llama Stack, lo que brinda la flexibilidad para implementar soluciones RAG en diferentes entornos mientras mantiene una funcionalidad uniforme.

4. Ajuste de la inteligencia artificial en la nube híbrida

La productividad, la uniformidad y la mejora de la experiencia del usuario son fundamentales para una estrategia de inteligencia artificial exitosa. En Red Hat, nuestro objetivo es proporcionar una plataforma de inteligencia artificial que permita a las empresas diseñar, ajustar, implementar y gestionar de manera consistente los modelos de inteligencia artificial y las aplicaciones de agentes a escala en toda la nube híbrida, lo cual ofrece una experiencia unificada que aumenta el tiempo de obtención de resultados. OpenShift AI 3.0 ofrece: 

• Control centralizado a través de un registro de modelos: el registro de modelos ofrece una experiencia más optimizada para gestionar los modelos de inteligencia artificial, lo que permite a los equipos descubrir, reutilizar y gestionar con mayor facilidad una amplia gama de recursos, desde los propios modelos y artefactos del cliente hasta opciones populares de la comunidad y de terceros. Estas funciones están diseñadas para aumentar la productividad, promover la uniformidad y garantizar la gestión centralizada del ciclo de vida.
• Mejora de la experiencia del usuario para los canales de inteligencia artificial : la experiencia de usuario mejorada para los canales de inteligencia artificial proporciona las herramientas que los analistas de datos y los ingenieros de inteligencia artificial necesitan para entrenar y ajustar los modelos más rápido, lo que agiliza los flujos de trabajo a través de ejemplos ejecutables y componentes reutilizables, así como la capacidad de traer tus propios Argo workflows para obtener la máxima flexibilidad.
• Supervisión mejorada: Para brindar a las empresas una perspectiva centralizada sobre el rendimiento de la inteligencia artificial y un mejor control y uniformidad, OpenShift AI 3.0 incluye métricas de plataforma fundamentales con el estándar de supervisión de OpenTelemetry, monitoreo de GPU sin configuración y paneles de referencia para métricas clave de inteligencia artificial como time-to-first-token y throughput, y la capacidad de exportar APIs para lograr una integración sin problemas con las plataformas de supervisión empresarial.
• GPU inteligente como servicio: OpenShift AI 3.0 utiliza funciones avanzadas para mejorar el uso de la GPU, maximizar la eficiencia y admitir una amplia variedad de cargas de trabajo. Gracias a la división del acelerador para todos los dispositivos habilitados para MIG de NVIDIA, las empresas pueden dividir las GPU para varios usuarios, lo que garantiza que no se desperdicie ningún recurso. Al utilizar Kueue, la plataforma admite un conjunto más diverso de cargas de trabajo de inteligencia artificial, incluidos los Ray training jobs, los training operator-based jobs y los servicios de inferencia para la programación y la gestión eficientes en todo el hardware compartido.

Un nuevo enfoque para la inteligencia artificial empresarial

Red Hat AI se basa en la creencia de que la inteligencia artificial empresarial no es una solución única para todos. Se trata de un enfoque estratégico e integral que reconoce la complejidad y la diversidad de los desafíos empresariales del mundo real. Red Hat ofrece una plataforma flexible que permite a las empresas superar el statu quo, ya que les ofrece la libertad de elegir cualquier modelo, hardware o estrategia de implementación en la nube híbrida. Este compromiso con las opciones, el control y la eficiencia es lo que nos distingue: no solo ofrecemos inteligencia artificial, sino que proporcionamos una base confiable e integral que permite a las empresas aprovechar al máximo sus inversiones en inteligencia artificial.

Para obtener más información sobre Red Hat AI 3 y descubrir cómo puedes diseñar la inteligencia artificial para tu mundo, ve nuestra sesión en directo Novedades y próximos pasos y visita nuestro sitio web.