De la inferencia a los agentes: Escalado de la inteligencia artificial en la empresa con Red Hat AI 3.4

La inteligencia artificial empresarial está pasando de los chatbots simples a la inteligencia artificial con agentes. Estos sistemas utilizan el razonamiento independiente y la planificación de varios pasos para completar tareas complejas de manera autónoma. Para diseñar estas aplicaciones con inteligencia artificial, los ingenieros de inteligencia artificial y los desarrolladores de agentes necesitan acceso inmediato a los modelos a través de extremos de API confiables que se ejecutan como cargas de trabajo de alto rendimiento. 

Los agentes autónomos consumen muchos recursos por diseño. Funcionan las 24 horas del día, los 7 días de la semana a gran escala y pueden acceder a la infraestructura decenas de veces para resolver una sola tarea, lo que genera una carga constante y aumentos repentinos en la demanda de cómputo. Sin una base dedicada, el rendimiento se ralentiza y los costos aumentan; cuando esto se combina con las exigencias de seguridad y gobernanza de los datos empresariales confidenciales, estas presiones se convierten en barreras serias para la producción.

Red Hat AI ayuda a abordar estos desafíos al ofrecer una plataforma unificada, desde el hardware hasta el agente, que simplifica la implementación de soluciones de inteligencia artificial. Al ofrecer un marco consistente tanto para los desarrolladores como para los operadores, Red Hat ayuda a que las organizaciones pasen de ser consumidoras de tokens a ser proveedoras de tokens. Este cambio permite que las empresas escalen los sistemas autónomos mientras mantienen la eficiencia del hardware y el control de los costos de cómputo necesarios para convertir los experimentos de inteligencia artificial en activos listos para la producción.

De la distribución estática a la orquestación de precisión: Reducción de los costos de inferencia

La base de cualquier aplicación con inteligencia artificial es el motor de inferencia. Para crear agentes efectivos, necesitas baja latencia y un alto rendimiento que respalde el razonamiento de la cadena de pensamiento. Red Hat AI 3.4 presenta herramientas para ofrecer este rendimiento mientras mantiene la sostenibilidad económica.

• Modelo como servicio (MaaS) para la empresa: En esta nueva versión, MaaS proporciona a los ingenieros de plataformas una interfaz de usuario [disponibilidad general, GA] para habilitar la gestión de claves de token de autoservicio para la administración basada en roles [GA], el seguimiento del uso y la devolución de costos (showback) [versión preliminar técnica, TP], y aplicar estándares de seguridad mientras utilizas modelos autoalojados [GA] y basados en la nube [TP].
• Inferencia distribuida con llm-d: Esta versión hace que la inferencia distribuida sea más fácil de operar y más rentable a gran escala. Los usuarios que implementan modelos a través de la interfaz de usuario (UI) ahora pueden descubrir Gateways disponibles en su espacio de nombres y seleccionar uno o más para su implementación, lo que elimina la dependencia de un valor predeterminado único para todo el clúster [TP]. Un editor de YAML integrado permite que los usuarios inspeccionen y editen los recursos subyacentes [TP]. La priorización de solicitudes [TP] permite que llm-d distinga entre el tráfico interactivo y el de fondo en el mismo endpoint, procesando primero las solicitudes sensibles a la latencia y descartando el trabajo de menor prioridad ante la saturación. El ajuste automático (autoscaling) [TP] ajusta las réplicas automáticamente en función del recuento de solicitudes activas, la profundidad de la cola y el uso de la unidad de procesamiento de gráficos (GPU). La inferencia por lotes (Batch Inference) compatible con OpenAI [versión preliminar para desarrolladores, DP] añade una ruta persistente de tipo "enviar y olvidar" para cargas de trabajo de gran volumen, como la clasificación de documentos o el análisis de registros.
• Decodificación especulativa para el rendimiento [GA]: La plataforma Red Hat AI integra el servidor de inferencia vLLM, que ahora incluye soporte para la decodificación especulativa. Al usar modelos de borrador altamente eficientes para acelerar el procesamiento, esta técnica puede aumentar la velocidad de respuesta de 2 a 3 veces sin pérdida de calidad, lo que reduce directamente el costo por interacción.
• Flexibilidad de hardware en GPU, CPU y NPU: Red Hat AI 3.4 amplía las opciones de aceleradores para la inferencia empresarial con la nueva compatibilidad de AMD con GPU y CPU, lo que incluye el soporte para la GPU AMD Instinct MI355X, la versión preliminar de AMD Instinct MI350P PCIe y la disponibilidad general de la ejecución de vLLM en CPU con procesadores AMD EPYC. El lanzamiento también incluye la disponibilidad general de la ejecución de vLLM en CPU con procesadores Intel Xeon y un contenedor Rebellions certificado para ATOM NPU. Esto brinda a las organizaciones más flexibilidad para asignar cada carga de trabajo al nivel informático adecuado: GPU para cargas de trabajo de razonamiento exigentes, CPU para inferencia ligera y permanente, y NPU para una distribución de alto rendimiento con eficiencia energética. En conjunto, estas funciones ayudan a reducir el costo por interacción, mejoran el uso de la infraestructura y brindan una experiencia de Red Hat AI uniforme en entornos de aceleradores heterogéneos.

Red Hat AI Inference, que ofrece soporte empresarial para vLLM y acceso a modelos validados y optimizados por Red Hat, ahora agrega funciones de inferencia distribuida con llm-d tanto en Red Hat OpenShift como en distribuciones de Kubernetes de terceros [TP]. La versión inicial incluye disponibilidad en CoreWeave y en los servicios gestionados de Kubernetes de Azure. Ahora, las organizaciones pueden ejecutar el mismo stack de inferencia en todos los entornos sin tener que rediseñar la arquitectura para cada proveedor. Esto significa que las operaciones de inteligencia artificial se mantienen uniformes y utilizan la misma base abierta de alto rendimiento, independientemente del hardware subyacente o del proveedor de nube.

Validación de la integridad del modelo mediante el desarrollo basado en la evaluación

Un modelo es tan efectivo como los datos en los que se basa. Red Hat AI 3.4 se centra en el desarrollo basado en la evaluación (evaluation-driven development, EDD) y reemplaza las pruebas subjetivas con datos y puntos de referencia concretos para verificar que los modelos y los agentes estén listos para la producción.

• Seguimiento de experimentos con MLflow [GA]: La integración de MLflow sirve como eje central para registrar automáticamente métricas, parámetros y artefactos. Esto permite la capacidad de reproducción y facilita la comparación de resultados en cargas de trabajo predictivas y generativas. Esto incluye la gestión de prompts, que los trata como activos corporativos controlados y con versiones.
• Experiencias automatizadas [TP]: Las herramientas como AutoRAG y AutoML automatizan tareas complejas de inteligencia artificial para reducir las conjeturas costosas y el proceso manual de prueba y error. AutoRAG automatiza la selección de modelos de integración y las estrategias de fragmentación para la generación aumentada por recuperación (retrieval-augmented generation, RAG), lo que permite que los equipos pasen de los datos sin procesar a un flujo de trabajo de alto rendimiento con mayor rapidez. Del mismo modo, AutoML gestiona la ingeniería de funciones y la selección de modelos para el análisis predictivo, lo que permite que los desarrolladores se centren en los resultados del negocio en lugar de en la preparación de los datos.
• Eval hub [TP]: Red Hat AI 3.4 presenta eval hub, un plano de control unificado de evaluación de inteligencia artificial que no depende del framework y permite evaluar modelos de lenguaje de gran tamaño (large language models, LLM), aplicaciones de inteligencia artificial y agentes. Esta herramienta reemplaza los métodos de prueba fragmentados mediante una API de REST unificada y un controlador de Kubernetes; además, ofrece colecciones de evaluación seleccionadas y personalizadas, un panel con MLflow integrado y acceso a la interfaz de línea de comandos (command line interface, CLI) y al kit de desarrollo de software (software development kit, SDK). Al utilizar tarjetas de modelo de la Open Container Initiative (OCI) para el control y un servidor de Model Context Protocol (MCP) para las evaluaciones que los agentes pueden detectar, proporciona un entorno nativo del clúster para que los especialistas amplíen los indicadores reproducibles desde laptops hasta flujos de trabajo de producción. 

Reducción de riesgos en la empresa con inteligencia artificial con agentes: Madurez y rastreabilidad

Los agentes autónomos requieren altos niveles de visibilidad, rastreabilidad y acceso controlado a las herramientas para que se mantengan dentro de los límites operativos establecidos. Red Hat AI proporciona el framework AgentOps para que estos sistemas sean observables y estén protegidos.

• Gestión controlada de prompts [TP]: La integración de MLflow también impulsa nuevas funciones de gestión de prompts dentro del playground de gen AI studio, un entorno centralizado donde los desarrolladores pueden crear prototipos de prompts, comparar modelos y comprobar la seguridad sin cambiar entre múltiples herramientas. Esto permite que los desarrolladores creen versiones, prueben y perfeccionen los prompts de los agentes como activos controlados. La gestión de prompts como código ayuda a las organizaciones a agilizar la obtención de valor y a mantener la uniformidad.
• Gestión de identidades [DP]: Red Hat AI implementa SPIFFE/SPIRE para las identidades de los agentes criptográficos; para ello, utiliza tokens de corta duración para eliminar las claves codificadas. Esto habilita la seguridad de confianza cero y permite que los agentes operen bajo los principios de privilegios mínimos en entornos de producción.
• Gestión del ciclo de vida con Kagenti [DP]: Para las empresas que gestionan activos de inteligencia artificial con agentes en constante evolución, la plataforma presenta Kagenti, una herramienta de gestión del ciclo de vida que permite que los equipos implementen, escalen y controlen los agentes sin cambiar el código subyacente. Kagenti permite el descubrimiento y la incorporación de agentes a lo largo de su ciclo de vida, lo que respalda la transición desde la fase de desarrollo a la de producción.
• Rastreabilidad de los agentes a través de MLflow [GA]: MLflow proporciona rastreabilidad de los agentes de extremo a extremo. El sistema rastrea cada llamada al modelo de lenguaje de gran tamaño (Large Language Model, LLM), cada ejecución de herramientas y cada paso de la toma de decisiones. Este es un requisito fundamental para la depuración, la auditoría y la evaluación de los sistemas autónomos.
• Gestión empresarial de MCP [DP/TP]: Red Hat AI presenta un enfoque de plataforma para controlar el acceso a las herramientas basadas en el protocolo de contexto de modelos (Model Context Protocol, MCP). El catálogo de MCP [DP] permite que los equipos descubran e implementen servidores de MCP confiables de Red Hat y de sus socios tecnológicos. El operador del ciclo de vida de MCP [DP] los gestiona como cargas de trabajo nativas de Kubernetes. La puerta de enlace de MCP [TP] ofrece autenticación centralizada, control de acceso a nivel de herramienta y observabilidad, de modo que los agentes solo puedan acceder a las herramientas autorizadas.

Ampliación de la base: Seguridad y observabilidad

Para que la inteligencia artificial sea sostenible, debe ejecutarse sobre una base estable y transparente. Red Hat AI 3.4 funciona como un centro de operaciones integral que integra MLOps, GenAIOps y AgentOps en una sola plataforma.

• Creación integrada con el laboratorio de peticiones y el registro [GA]: La plataforma proporciona herramientas unificadas para crear y gestionar peticiones, de modo que la lógica que impulsa el comportamiento de la inteligencia artificial con agentes se almacena en un registro central, lo que ofrece una fuente única de información para desarrolladores y administradores.
• Seguridad de la inteligencia artificial y red teaming [TP]: Red Hat AI 3.4 integra el escaneo adversarial automatizado directamente en el ciclo de vida de desarrollo. Al aprovechar la tecnología de la adquisición de Chatterbox Labs, la plataforma utiliza Garak para evaluar los modelos y los sistemas de inteligencia artificial con agentes en busca de riesgos como los jailbreaks, las inyecciones de peticiones y el sesgo. Esta función proporciona un análisis de riesgos avanzado para detectar fallos de seguridad en la lógica del modelo durante la fase de desarrollo en lugar de hacerlo durante el tiempo de ejecución. Al identificar y mitigar las vulnerabilidades de forma temprana, los equipos pueden evaluar la integridad de sus aplicaciones de inteligencia artificial para permitir una transición más segura a la implementación en producción.
• Métricas centralizadas y observabilidad [TP]: Esta versión ofrece una instancia de Prometheus unificada y sin configuración con paneles de control fundamentales nativos. Los administradores de clústeres pueden supervisar el uso del hardware y las métricas de MaaS [TP] desde una sola consola. También añade la capacidad de ver los rastros de ejecución paso a paso de un agente, las cadenas de razonamiento, las llamadas a herramientas e interacciones con el LLM directamente en la consola [DP]. La plataforma conserva la flexibilidad para enviar estas métricas a los receptores de observabilidad de terceros existentes.

Red Hat AI en cloud marketplaces

Red Hat AI Enterprise estará disponible pronto para su adquisición directa a través de AWS Marketplace, Microsoft Azure Marketplace y Google Cloud Marketplace. Esto brinda a las organizaciones empresariales un camino más rápido y flexible para implementar la infraestructura de inteligencia artificial en su nube preferida. Ahora las organizaciones pueden aplicar los programas de descuento para empresas (Enterprise Discount Programs, EDP) actuales y el gasto comprometido en la nube a las suscripciones de Red Hat AI, lo que simplifica el proceso financiero y de adquisición.

Esta disponibilidad representa una expansión de las opciones actuales de Red Hat AI en la nube. Red Hat ya ofrece Red Hat Enterprise Linux AI en los tres marketplaces principales para las organizaciones que se centran en ejecutar modelos de lenguaje de gran tamaño (Large Language Models, LLM) en el modo de imagen de Red Hat Enterprise Linux. 

Red Hat AI Inference on IBM Cloud 

En combinación con IBM Cloud, también anunciamos la disponibilidad de Red Hat AI Inference on IBM Cloud, un servicio de inferencia totalmente gestionado que permite a los clientes ejecutar modelos de inteligencia artificial de nivel de producción. Ofrece un acceso rápido y rentable a modelos open source base con gobernanza integrada, como controles de acceso de nivel empresarial, auditoría y gobernanza de uso. Algunos ejemplos actuales del catálogo de modelos incluyen Granite 4.0 H Small (IBM), Mistral-Small-3.2-24B-Instruct, Llama 3.3 70B Instruct y GPT-OSS-120B.

Reflexiones finales

Red Hat AI 3.4 amplía la funcionalidad necesaria para pasar de los chatbots experimentales a una inteligencia artificial con agentes empresarial totalmente desarrollada. Al integrar la inferencia distribuida, los flujos de datos automatizados, AgentOps independientes del framework y la seguridad proactiva de la inteligencia artificial, Red Hat ofrece una base integral para la nube híbrida. Esta versión amplía las herramientas para crear sistemas autónomos que sean predecibles, centrados en la seguridad y económicamente sostenibles en cualquier entorno. Como plataforma integral para la era de la inteligencia artificial con agentes, Red Hat AI ayuda a las organizaciones a escalar la innovación mientras mantienen el control total sobre sus activos de inteligencia artificial.

Obtén más información sobre Red Hat AI y descubre cómo puedes crear inteligencia artificial para tu entorno. Se espera que Red Hat AI 3.4 esté disponible a finales de este mes.