¿Qué es AgentOps?

AgentOps (operaciones de los agentes) es un marco de herramientas que sirve para supervisar el "cerebro" de un recurso de inteligencia artificial a medida que toma decisiones en tiempo real. Considéralo como una forma de gestionar y definir los parámetros que se aplicarán a tu "empleado" autónomo de inteligencia artificial. Te permite asegurarte de que cuando se asigna una tarea a un agente, este la complete de manera eficiente y segura sin superar el presupuesto establecido. 

Descubre Red Hat AI

Las acciones de los agentes son no deterministas, lo que significa que se deciden en función de una serie de distribuciones de probabilidad aleatorias. Esto quiere decir que estas acciones no se pueden predecir con precisión. Esta falta de predictibilidad permite que los agentes descubran formas creativas de resolver los problemas. Sin embargo, en la etapa de producción, la autonomía sin explicabilidad puede convertirse en un inconveniente. El marco de AgentOps ayuda a reducir dicho riesgo. 

La inteligencia artificial con agentes (Agentic AI) es un sistema de software que interactúa con datos y herramientas para que la intervención humana sea mínima. Este sistema, que se centra en el comportamiento orientado a los objetivos, puede realizar tareas mediante la creación de una lista de pasos y su posterior ejecución autónoma.

Es una manera de combinar la automatización con las habilidades creativas de un modelo de lenguaje de gran tamaño (LLM). Para llevarla a la práctica, se debe permitir que el LLM acceda a herramientas externas, así como a algoritmos que den indicaciones a los agentes de inteligencia artificial sobre el uso que deben hacer de ellas.

Los agentes de inteligencia artificial y la inteligencia artificial con agentes

¿Cuál es la diferencia entre un agente de inteligencia artificial y la inteligencia artificial con agentes? El primer término hace referencia a un recurso ("Estoy diseñando tres agentes"), mientras que el segundo se utiliza para describir otro recurso ("Necesitamos que nuestro software cuente con más agentes").

Un agente de inteligencia artificial es una entidad de software diseñada para trabajar y llevar a cabo una función dentro de un sistema con agentes. La inteligencia artificial con agentes describe un sistema que puede planificar, tomar decisiones y llevar a cabo acciones con el fin de cumplir ciertos objetivos, sin requerir más que una mínima orientación humana. Hace referencia a las características de comportamiento de un sistema.

El marco de AgentOps es útil tanto para los agentes de inteligencia artificial como para la inteligencia artificial con agentes, aunque de distintas maneras. 

A los agentes de inteligencia artificial, los ayuda en lo siguiente:

• Identificación y control de versiones: Realiza un seguimiento de las diferencias en los perfiles y las habilidades de los agentes.
• Gestión de herramientas: Supervisa qué agentes tienen acceso a qué interfaces de programación de aplicaciones (API) y bases de datos.
• Seguimiento de costos y recursos: Lleva un registro de la cantidad de dinero que gasta el agente A en comparación con el agente B.

A la inteligencia artificial con agentes, la ayuda con lo siguiente:

• Rastreabilidad: Crea el "árbol de pensamiento" o razonamiento para que las personas puedan saber por qué la inteligencia artificial decidió hacer lo que hizo (por ejemplo, por qué llevó a cabo el paso 3 antes que el paso 2).
• Tasas de éxito: Mide el éxito del sistema general con agentes que creaste.
• Detección de alucinaciones: Detecta los errores de inmediato antes de que el agente gaste demasiados recursos realizando acciones incorrectas.

Los agentes de inteligencia artificial y los flujos de trabajo con agentes pueden ser tan autónomos como los programemos. Independientemente de la posición que un flujo de trabajo ocupe en el espectro de los sistemas con agentes, el marco de AgentOps es importante para garantizar la confiabilidad y la supervisión. 

Los flujos de trabajo con agentes pueden ayudar a resolver los problemas de manera creativa, pero esta creatividad debe gestionarse para que los sistemas no se salgan de control. El marco de AgentOps ayuda a reducir los riesgos de la inteligencia artificial con agentes al observar, evaluar, controlar y optimizar los sistemas con agentes.

Observabilidad

Los agentes crean una sensación de "razonamiento" en un ciclo de pensar, actuar y observar. Si se produce un error en este proceso, toda la tarea puede estropearse. Si un agente realiza algo inesperado, se debe analizar su lógica para encontrar el error. Las AgentOps proporcionan una línea de razonamiento que se puede rastrear para que las personas puedan identificar la causa principal de una mala decisión. 

Evaluación en tiempo real

Mientras el agente principal trabaja, se puede configurar un agente secundario a través de los procesos de AgentOps para que lo supervise. Si el agente supervisor detecta que el agente principal está alucinando o alejándose de su objetivo, puede pausar el sistema o generar una alerta para que intervenga una persona. 

Control

Cuando delegamos tareas a los agentes, debemos establecer medidas de seguridad. Estas son barreras que hacen que los sistemas de inteligencia artificial funcionen dentro de los límites establecidos. Las AgentOps te permiten implementar puntos de control en los que los seres humanos participan activamente en el proceso (HITL) y asegurarte de que los agentes no puedan llevar a cabo acciones de alto riesgo, como la eliminación de archivos o la aprobación de gastos de dinero, sin que una persona las autorice primero. 

Optimización de costos

Las AgentOps proporcionan evidencia que te muestra si el agente no actúa de manera eficiente. Por ejemplo, podría optar por un modelo demasiado costoso o resolver un problema de una manera extremadamente compleja y que consuma muchos recursos. 

Con las AgentOps, puedes configurar tu sistema con instrucciones como estas:

• "Detén la tarea si cuesta más de USD 5,00".
• "Detén la tarea si lleva más de 20 pasos completarla".
• "Bloquea el comando 'eliminar'".

AgentOps es un elemento esencial para quienes buscan implementar prácticas de inteligencia artificial soberana. Este tipo de inteligencia implica ser propietario de la tecnología, mantener los datos en tus entornos locales y asegurarte de que los sistemas de inteligencia artificial reflejen tus valores y los requisitos legales.

Las AgentOps brindan transparencia a los sistemas, lo cual es importante desde un punto de vista legal. Después de todo, la defensa de que "la inteligencia artificial decidió hacer eso" no tendrá validez en un juzgado. 

Estamos pasando de utilizar la inteligencia artificial como una herramienta para responder preguntas a usarla como un sistema que comprende el contexto. Por lo tanto, las empresas deben crear capas semánticas y puertas de enlace del Protocolo de Contexto de Modelos (MCP) que permitan que los agentes de inteligencia artificial exploren un conjunto completo de datos empresariales de manera segura. Las AgentOps permiten:

• realizar un seguimiento del uso de los recursos de hardware;
• supervisar los índices de alucinaciones;
• garantizar que los datos se mantengan cifrados;
• proporcionar un registro auditable de las acciones llevadas a cabo por el agente;
• finalizar un proceso si se producen infracciones a las políticas.

En un sistema de inteligencia artificial soberana, las AgentOps pueden brindar un registro verificable de las decisiones, los flujos de datos y las interacciones con las herramientas, de manera que puedas entender mejor el funcionamiento del sistema. 

Un agente de un sistema con muchos agentes toma sus propias decisiones, selecciona sus propias herramientas y corrige los errores que comete. Esto implica tomar muchas decisiones complejas, lo que se vuelve un problema de "caja negra". 

La caja negra se refiere a un modelo de inteligencia artificial que es demasiado complejo de entender, que no muestra su trabajo o ambas opciones. Crea una situación en la que nadie puede explicar con exactitud cómo se generó un resultado en particular, ni siquiera los analistas de datos ni los ingenieros que crearon el algoritmo. Para resolver el problema de caja negra, se necesita una inteligencia artificial explicable. 

La inteligencia artificial explicable es una filosofía y un conjunto de prácticas que tienen por objetivo hacer que los seres humanos puedan comprender las acciones de la inteligencia artificial. El marco de AgentOps es el conjunto de herramientas que facilita esta tarea. 

Puede proporcionar un mapa cronológico de todos los ciclos de razonamiento, las llamadas a las herramientas y las observaciones llevados a cabo por un agente de inteligencia artificial. Gracias a ello, podemos entender los motivos por los que un agente decidió utilizar una herramienta en vez de otra. También ofrece a las personas una manera de brindar retroalimentación a través del aprendizaje por refuerzo para corregir al agente si comete un error. 

Por ejemplo, las AgentOps pueden ofrecer una interfaz que nos permita leer el motivo por el que el agente llevó a cabo una tarea. Luego, le podemos comunicar: "El paso 3 fue una mala decisión porque utilizaba un modelo que era demasiado costoso". 

Las AgentOps son otra adición a la familia de "Ops" (operaciones), como DevOps, AIOps, MLOps y LLMOps. Definamos los distintos tipos de operaciones que existen y la forma en que trabajan juntas.

• Las DevOps son la base sobre la cual se desarrollan todas las demás operaciones. Son un conjunto de prácticas que tienen por objetivo garantizar que cualquier sistema de software se pueda diseñar, probar e implementar con confianza. El objetivo de las DevOps es aumentar la velocidad de la distribución de software.
• El concepto de AIOps (inteligencia artificial para las operaciones de TI) se refiere a aplicar la inteligencia artificial a las DevOps. Su objetivo es utilizar esta tecnología para automatizar las operaciones de TI y anticiparte a los errores. Además, ayuda a supervisar los servidores y a prevenir los fallos.
• Las MLOps (operaciones de machine learning [aprendizaje automático]) consisten en gestionar el ciclo de vida del modelo de machine learning. El objetivo de estas operaciones es asegurarse de que el modelo no pierda precisión a medida que ingresan nuevos datos.
• Las LLMOps (operaciones de modelos de lenguaje de gran tamaño) son un subconjunto de las MLOps, que se realizan específicamente para administrar los LLM. El objetivo de las LLMOps es gestionar las indicaciones, reducir las alucinaciones y disminuir los costos de las llamadas a la API. 

Obtén información sobre la AIOps con Red Hat 

¿En qué se relaciona todo esto con las AgentOps? 

Para gestionar un producto empresarial confiable con las AgentOps, ya debes tener implementadas las LLMOps y las DevOps. También pueden resultar útiles la AIOps y las MLOps. Analicemos cómo podrían funcionar todas juntas:

• DevOps: Para crear un agente, necesitas un código. Este código se debe procesar y transmitir a través de los servidores de manera confiable y adaptable. Las DevOps garantizan que esto sea así.
• LLMOps: Las LLMOps se encargan de la lógica de las indicaciones del usuario y ayudan al agente a transformarlas en planes de acción.
• MLOps: Las MLOps garantizan la precisión de los modelos de machine learning a los que accede el agente. Esto puede implicar actualizar automáticamente el modelo con los datos que ya posee y garantizar que el agente llame al modelo recién actualizado en lugar de a una versión anterior.
• AIOps: Si un servidor falla, podría activar 1000 alertas. La AIOps puede darse cuenta de que todas esas alertas provienen del mismo evento y notificar a la persona solo una alerta de "incidente grave", lo cual resulta más eficiente y reduce la confusión.

Debes aplicar las AgentOps a todas las fases de un flujo de trabajo con agentes, desde la base operativa hasta las medidas de seguridad y el ajuste avanzado.

Lo ideal es diseñar la infraestructura sobre una base operativa, lo cual significa asegurarse de que los siguientes sistemas estén implementados:

Protocolos estandarizados

Para interactuar dentro de un ecosistema digital, los agentes necesitan compartir un lenguaje común con las herramientas que utilizan. El MCP permite la conexión bidireccional y la comunicación estandarizada entre las aplicaciones de inteligencia artificial y los servicios externos. Sin un protocolo estandarizado como el MCP, la inteligencia artificial con agentes puede pensar y planificar, pero no puede interactuar con los sistemas externos. 

Mecanismos de gestión de errores

Cuando trabajas con flujos de trabajo con agentes, es importante tener en cuenta la inestabilidad y la incapacidad. Esto significa crear políticas de protección dentro del sistema que puedan gestionar los errores cuando se produzcan, como tener un airbag listo en caso de producirse un accidente de auto. A veces, a estas las llaman funciones de autorregeneración. 

• Lógica de reintentos: En ocasiones, los elementos del sistema que utiliza el agente fallarán temporalmente, lo que causará inestabilidad. En lugar de detener todo el flujo de trabajo, desarrollar una lógica de reintentos es una buena opción para abordar estos problemas. Esto implica crear instrucciones sobre la forma de proceder y autocorregirse para evitar ciclos de razonamiento infinitos (y facturas costosas).
• Modelo alternativo: Este modelo secundario puede hacerse cargo si el principal se vuelve incapaz o demasiado costoso. Por ejemplo, si tu agente utiliza OpenAI y esta deja de funcionar, el agente puede cambiar a un modelo local, como Llama 3. 

Medidas de seguridad de las herramientas

Si los mecanismos de gestión de errores son los airbags que se despliegan como reacción a un choque, las medidas de seguridad son los frenos que tienen por objetivo evitar el choque en primer lugar. Puedes establecer reglas que tu agente deberá seguir, por ejemplo, eliminar archivos solo si una persona lo aprueba.

Control y cumplimiento normativo

A través del control y el cumplimiento normativo, te aseguras de que todas las acciones de tu agente se tengan en cuenta y queden registradas. Esto resulta especialmente importante en los campos que requieren el estricto cumplimiento de las leyes de privacidad, como el Reglamento General de Protección de Datos (RGPD) o la Ley de Portabilidad y Responsabilidad de Seguros de Salud (HIPAA).

Optimización de la memoria 

Los agentes pueden "confundirse" si su historial de conversaciones es demasiado extenso. Esto satura su ventana de contexto y puede provocar distracciones, lo que puede dar lugar a alucinaciones o impedirle completar un objetivo. Puedes optimizar la memoria con un vLLM, el cual utiliza PagedAttention (como técnica de gestión de la memoria) para que los sistemas con agentes gestionen los historiales de contexto extensos con eficiencia y según sea necesario. El vLLM es especialmente útil para los flujos de trabajo con agentes porque admite un alto rendimiento incluso a medida que la complejidad aumenta.

Obtén más información sobre el vLLM 

Marcos de colaboración entre varios agentes

La colaboración entre varios agentes es la práctica de asignar distintas funciones, memorias y herramientas a varios LLM independientes. Podría haber un agente que actúe como "investigador" y otro que actúe como "diseñador" intercambiando mensajes para llegar a un resultado final. El objetivo de la colaboración entre varios agentes es superar las limitaciones de un solo modelo al forzar a los agentes a trabajar en conjunto y criticarse mutuamente. 

El dilema de la autonomía

La independencia puede conducir a resultados asombrosos… o al caos. Encontrar el grado adecuado de autonomía para los agentes es complicado, y crear el equilibrio correcto requiere dedicar mucho tiempo al trabajo con medidas de seguridad. Para gestionar esto, los desarrolladores deben implementar puntos de control con intervención humana para asegurarse de que el agente actúe solo dentro de los límites permitidos.
 

Problemas éticos y de cumplimiento normativo

Los agentes tienen un objetivo que cumplir y pueden decidir tomar atajos "creativos", como ofrecer un descuento no autorizado a un cliente para cerrar un trato. Esta decisión puede infringir las leyes de préstamos justos o las políticas internas. Para resolver este problema, se requiere implementar auditorías y capas de aplicación de políticas que garanticen que las acciones de los agentes cumplan los estándares legales y empresariales. 
 

Problemas de privacidad

Como los agentes pueden acceder a muchas fuentes de datos, existe el riesgo de que, sin darse cuenta, compartan información confidencial o privada con alguien que no debería tener acceso a ella. Puedes protegerte de estos riesgos con una lista de acciones prohibidas. 
 

Costos no esperados

Los agentes trabajan en un ciclo (pensar, actuar, observar) que puede convertirse rápidamente en una espiral sin salida, lo cual resultaría muy costoso. Es importante planificar e implementar límites presupuestarios y mecanismos de protección para evitar el uso excesivo de recursos. 
 

Capacidad de ajuste

Ejecutar un agente en una computadora portátil es muy diferente a ejecutar 1000 agentes que llevan a cabo 1000 flujos de trabajo a la vez. El uso de herramientas como la inferencia distribuida, llm‑d y vLLM ayuda a gestionar la enorme cantidad de requisitos informáticos y de memoria que se necesitan para ejecutar una flota de agentes. 

A continuación, mencionamos algunos ejemplos de las formas en que una empresa puede utilizar las AgentOps para gestionar sus flujos de trabajo:

Vigilancia financiera

Un equipo de agentes supervisa miles de transacciones diarias e identifica los fraudes o las infracciones a las políticas. Su trabajo consiste en incorporar datos, compararlos con las políticas internas y destacar las actividades sospechosas para que las revise una persona. 

Asistencia técnica autónoma

Los agentes pueden probar y corregir el código en un entorno de pruebas (sandbox). Cuando se envía una solicitud de seguimiento de incidentes, el agente reproduce el error en un entorno de pruebas, escribe una posible corrección y, luego, lleva a cabo pruebas. Cuando tiene una buena idea de cómo corregir el problema, envía una notificación a una persona para que esta revise y apruebe el trabajo realizado por el agente.

Supervisor de la cadena de suministro

Un sistema con agentes supervisa el clima, las huelgas de transporte marítimo y la congestión portuaria en todo el mundo. Alerta al equipo sobre las perturbaciones climáticas, calcula el costo del desvío de las embarcaciones y propone cambios. 

Red Hat® AI pone en funcionamiento el ciclo de vida completo de un agente a través de un plano de control de AgentOps exclusivo. Esto garantiza que todas las implementaciones estén protegidas y sean observables y eficientes en todo tu entorno de nube híbrida. 

La plataforma proporciona control de nivel empresarial a través de medidas de seguridad integradas. Su infraestructura fundamental utiliza el vLLM y llm‑d para lograr una inferencia distribuida de alto rendimiento, de manera que puedas ajustar los flujos de trabajo que consumen muchos recursos, ya sea que se lleven a cabo en las instalaciones o en entornos del extremo de la red.

Red Hat AI ofrece inferencias rápidas, flexibles y eficientes a través de su servidor con vLLM. Conecta los modelos a tus datos de manera confiable para unificar la personalización y el desarrollo de agentes especializados en una sola plataforma. Nuestros productos de inteligencia artificial cuentan con una base open source y te brindan el control total de los flujos de trabajo de inteligencia artificial en cualquier escala.