Novedades de la interfaz de usuario de Red Hat OpenShift AI 3.3: Paso de la fase piloto a la producción

Con nuestra versión anterior de Red Hat OpenShift AI, establecimos una base sólida para tu infraestructura de inteligencia artificial empresarial. Hoy, con el lanzamiento de OpenShift AI 3.3, abordamos las fuerzas contrapuestas que suelen impedir que los proyectos de inteligencia artificial lleguen a la etapa de producción: la necesidad de un control riguroso frente a la demanda de acceso rápido para los desarrolladores.

OpenShift AI 3.3 presenta un conjunto de herramientas diseñadas para gestionar un lugar centralizado de recursos de inteligencia artificial mientras se optimiza para el futuro de varios modelos y agentes.

Recursos centralizados: El centro de inteligencia artificial

A medida que las empresas dejan de lado los casos prácticos de un solo modelo, la capacidad de detección se convierte en un obstáculo. Los equipos de plataformas necesitan una fuente central de información para sus recursos de inteligencia artificial a fin de registrar y crear versiones de los modelos antes de configurarlos para su implementación, así como para visualizar los modelos implementados. 

También necesitan orientación sobre la mejor manera de implementar estos modelos; es difícil evaluar los requisitos de hardware y comprender la latencia y el rendimiento esperados. 

El centro de inteligencia artificial tiene como objetivo proporcionar eso: ahora es el repositorio central para los recursos de inteligencia artificial de tu organización, desde los modelos de lenguaje de gran tamaño (LLM) en OpenShift AI 3.3 hasta los servidores Model Context Protocol (MCP) en versiones futuras.

En OpenShift AI 3.3, el centro de inteligencia artificial proporciona información sobre el rendimiento y orientación de nuestro programa de validación de modelos de Red Hat AI sobre las ventajas y desventajas del rendimiento, el coste y los requisitos de hardware. Esto ayuda a que los equipos de plataformas guíen a los desarrolladores hacia las configuraciones más eficientes antes de que comience la implementación.

Control a escala: Model-as-a-Service (MaaS)

Si configuras y gestionas tus propias GPU e implementas modelos de inteligencia artificial en ellas, diseñar aplicaciones de inteligencia artificial resulta difícil. La mayoría de los desarrolladores, ingenieros de inteligencia artificial y analistas de datos prefieren comenzar con un endpoint de un modelo que ya está en funcionamiento. Pedirles que realicen todo este trabajo adicional los ralentiza, reduce el tiempo de obtención de resultados y no es escalable ni eficiente en términos de costes, tiempo o control. 

Por otro lado, permitir que los equipos de plataformas ofrezcan estos modelos a todo el mundo (para que sus analista de datos y equipos de negocios cuenten con los modelos que necesitan) les ayuda a extender el mismo paradigma que han utilizado para las plataformas de aplicaciones. 

En este escenario, los equipos de plataformas se encargan de la distribución y optimización de los modelos, lo que proporciona un conjunto centralizado de modelos de inteligencia artificial que pueden controlar a través de políticas de acceso basadas en funciones, estableciendo límites y términos de uso, y gestionando la creación de versiones; mientras tanto, los usuarios finales reciben un endpoint de la API que pueden usar para comenzar a diseñar con tranquilidad.

OpenShift AI 3.3 ofrece una versión de prueba técnica de MaaS diseñada para ayudar a que las organizaciones se conviertan en sus propios proveedores internos de modelos de inteligencia artificial.

• Para los administradores: Define políticas detalladas de limitación de frecuencia en la interfaz de usuario. Por ejemplo, puedes asignar cuotas de acceso altas para los modelos más pequeños que se utilizan en las tareas diarias, mientras estableces límites más estrictos para los modelos fronterizos que consumen muchos recursos.
• Enrutamiento optimizado con llm-d: Esto funciona en conjunto con llm-d, el marco de inferencia distribuida nativo de Kubernetes. Mientras estableces las políticas, llm-d optimiza el enrutamiento de las solicitudes para que el hardware se utilice de la manera más eficiente posible sin incumplir los acuerdos de nivel de servicio (SLA).

Velocidad del desarrollador: Gen AI studio

Los modelos o los recursos que implementan los equipos de plataformas deben registrarse y mostrarse de manera centralizada para que los ingenieros de inteligencia artificial y los desarrolladores puedan comenzar a diseñar con ellos.

Los desarrolladores también necesitan un lugar central donde experimentar con estos modelos y recursos. Este espacio debe permitir un enfoque listo para usar donde encuentren el modelo, la petición o la herramienta que mejor se adapte a su caso práctico. Al mismo tiempo, debe abstraer la complejidad de la infraestructura necesaria para implementarlos. 

Nuestra versión de prueba técnica de gen AI studio ofrece este entorno y las herramientas que los desarrolladores necesitan para pasar de una petición a una prueba piloto.

• Zona de juegos de inteligencia artificial: Experimenta con peticiones, parámetros de modelos y herramientas de MCP. En OpenShift AI 3.3, puedes importar tus propios servidores MCP y activar o desactivar herramientas específicas, lo que proporciona el determinismo necesario para un comportamiento de inteligencia artificial con agentes confiable. Al trasladarte de la interfaz de usuario de OpenShift AI a tu entorno local, la función "View Code" de OpenShift AI 3.3 te permite ver y copiar la configuración del área de juegos. Nuestra próximo plan se basa en estos cimientos para mejorar la experiencia de los ingenieros de inteligencia artificial mediante la exportación de código. Esto incluye la gestión de peticiones, las funciones de generación aumentada por recuperación (RAG) y el perfeccionamiento de la selección de herramientas MCP.
• Endpoints de los recursos de inteligencia artificial: Esto te permite recuperar las claves de la API y los extremos de manera instantánea para que puedas comenzar a realizar pruebas en tu IDE local.

La brecha de producción: Evaluación y optimización continuas

Uno de los mayores obstáculos para la implementación en producción no es el diseño del modelo, sino la gestión de los costos y la garantía de que la calidad no decaiga.

• Optimización de costos en la compresión de modelos: OpenShift AI 3.3 presenta workbenches guiados para LLM Compressor (GitHub) y GuideLLM (GitHub). Estas son herramientas open source dirigidas y utilizadas por Red Hat para comparar y comprimir modelos como parte de nuestro programa de validación. Ahora puedes comparar un modelo con indicadores, comprimirlo (por ejemplo, mediante la cuantificación) y comparar las ganancias de rendimiento directamente dentro de tu entorno. Obtén más información sobre el valor de los modelos comprimidos en esta publicación de blog de LLM Compressor.

• Seguimiento de experimentos con MLflow: Presentamos una versión de prueba para desarrolladores de la integración de MLflow. Mientras que la compresión y los indicadores de rendimiento ayudan a resolver los problemas inmediatos de rendimiento, MLflow proporciona la "memoria histórica" para el ciclo de vida de la inteligencia artificial. Al registrar tus resultados de guidellm y las respuestas de las aplicaciones en MLflow, realizas un seguimiento de las regresiones y la calidad a lo largo del tiempo, para asegurarte de que tus optimizaciones no comprometan la precisión.
• Visualización del ciclo: Ahora puedes ver la correlación directa entre tus experimentos de compresión y la latencia de inferencia en el panel de MLflow, lo que hace que la resolución de problemas de rendimiento se base en los datos en lugar de ser anecdótica.

Prueba Red Hat OpenShift AI 

Las funciones en Red Hat OpenShift AI 3.3 están diseñadas para transformar la forma en que controlas el acceso a las funciones de inteligencia artificial en la plataforma. Puedes probar AI Hub y obtener una vista previa de gen AI Studio y nuestros nuevos entornos de trabajo de optimización instalando Red Hat OpenShift AI 3.3. Consulta nuestro comunicado de prensa para obtener más información.

También puedes probar Red Hat OpenShift AI en el centro de prueba de productos de Red Hat. Esto te brinda acceso gratuito durante 60 días a un entorno totalmente gestionado donde puedes probar estas herramientas para la producción.