¿Qué es LLMOps?

Los modelos de lenguaje de gran tamaño (LLM) son modelos de machine learning (aprendizaje automático) que pueden comprender y generar lenguaje humano.Los LLM como GPT-3, LLaMA y Falcon son herramientas que aprenden a producir palabras y oraciones a partir de los datos. A medida que tales herramientas evolucionan, las empresas necesitan implementar prácticas recomendadas sobre el funcionamiento de estos modelos.Aquí entran en juego las LLMOps.

Las operaciones de modelos de lenguaje de gran tamaño (LLMOps) son métodos operativos que se usan para administrar estos modelos. Con ellas, se gestiona y automatiza el ciclo de vida de los LLM, desde el perfeccionamiento hasta el mantenimiento, para que los desarrolladores y los equipos los implementen, los controlen y los mantengan.

Si se considera que los LLM son un subconjunto de los modelos de machine learning, entonces las LLMOps son un modelo de lenguaje de gran tamaño equivalente a las operaciones de machine learning (MLOps). Las MLOps son un conjunto de prácticas para los flujos de trabajo cuyo objetivo es optimizar el proceso de implementación y mantenimiento de los modelos con esta tecnología. Buscan establecer una evolución permanente para integrar los modelos de machine learning en los procesos de desarrollo de software. De manera similar, el objetivo de las LLMOps es que los equipos puedan probar, repetir, implementar y mejorar permanentemente el ciclo de vida de desarrollo e implementación de los LLM.

Si bien las LLMOps y las MLOps tienen algunas similitudes, también presentan diferencias. Algunas de estas incluyen:

Aprendizaje: por lo general, los modelos tradicionales de machine learning se crean o entrenan desde cero, pero los LLM se generan a partir de un modelo base y se perfeccionan con datos para mejorar el rendimiento de las tareas.

Perfeccionamiento: en el caso de los LLM, el perfeccionamiento mejora el rendimiento y aumenta la precisión, lo que hace que el modelo tenga más conocimientos sobre un tema específico. El ajuste de las peticiones permite que los LLM realicen mejor determinadas tareas. Otra diferencia radica en el ajuste de los hiperparámetros. En el machine learning tradicional, el ajuste se centra en mejorar la precisión. En los LLM, el ajuste es importante no solo para aumentar la precisión, sino también para reducir los costos y la cantidad de energía que se requiere para el entrenamiento. Ambos tipos de modelos obtienen beneficios de la optimización del proceso de ajuste, pero en relación con diferentes aspectos. Por último, cabe mencionar la generación aumentada por recuperación (RAG), que implica usar conocimiento externo para garantizar que el LLM recopile datos precisos y específicos a fin de producir mejores respuestas.

Retroalimentación: el aprendizaje de refuerzo a partir de la retroalimentación humana (RLHF) representa una mejora en el entrenamiento de los LLM. Las contribuciones de las personas son fundamentales para el rendimiento de los LLM, ya que se utilizan para evaluar la precisión, mientras que los modelos tradicionales de machine learning usan indicadores específicos para ello.

Indicadores de rendimiento: los modelos de machine learning cuentan con indicadores de rendimiento precisos; los LLM, por su parte, tienen distintos conjuntos de indicadores, como Bilingual Evaluation Understudy (BLEU) y Recall-Oriented Understudy for Gisting Evaluation (ROUGE), los cuales requieren un análisis más complejo.

Obtén más información sobre las MLOps

Actualmente, las operaciones LLMOps son el mejor método para supervisar y mejorar el rendimiento, y se pueden mencionar tres beneficios principales:

Eficiencia: las LLMOps permiten que los equipos desarrollen modelos más rápido, aumenten la calidad y los implementen con rapidez. Gracias a un enfoque más optimizado para la gestión, los equipos pueden colaborar mejor gracias a una plataforma que promueve la comunicación, el desarrollo y la implementación.

Capacidad de ajuste: las LLMOps contribuyen a la capacidad de ajuste y la gestión, ya que permiten gestionar y supervisar más de un modelo para su integración y distribución o implementación continuas (CI/CD). También proporcionan una experiencia de usuario más receptiva a través de una mejora en la comunicación y las respuestas.

Reducción de los riesgos: las LLMOps promueven una mayor transparencia y establecen un mejor cumplimiento de las políticas de la empresa y el sector.Mejoran la seguridad y la privacidad porque protegen la información confidencial y evitan la exposición a los riesgos.

Obtén más información sobre el diseño de un entorno de inteligencia artificial/machine learning

Las LLMOps tienen varios usos.

Integración y distribución continuas (CI/CD): tienen como objetivo optimizar, agilizar y automatizar el ciclo de vida de desarrollo de los modelos. Eliminan la necesidad de intervenir manualmente para obtener código nuevo, lo que reduce el tiempo de inactividad y agiliza el lanzamiento de los códigos. Las herramientas como Tekton, en la que se basa Red Hat OpenShift Pipelines, mejoran los flujos de trabajo de los desarrolladores al automatizar las implementaciones en varias plataformas.

Recopilación, etiquetado y almacenamiento de datos: la recopilación de datos utiliza diferentes fuentes para reunir información precisa. El etiquetado clasifica los datos, y el almacenamiento recopila y conserva la información digital que está asociada a una red.

Perfeccionamiento, inferencias y supervisión de modelos: con el perfeccionamiento, se optimizan los modelos para que realicen tareas específicas de cada área. Las inferencias de los modelos permiten gestionar la producción según los conocimientos actuales y ejecutar acciones en función de la información inferida. Gracias a la supervisión de los modelos, que incluye la retroalimentación humana, es posible recopilar y almacenar datos sobre el comportamiento de los modelos para entender el modo en que se relacionan con los datos de producción reales.

Obtén más información sobre los modelos base para la inteligencia artificial

Las operaciones LLMOps tienen varias etapas o elementos, y hay prácticas recomendadas para cada una de ellas:

Análisis exploratorio de los datos (EDA): se trata del proceso de evaluar y preparar los datos para el ciclo de vida del machine learning mediante la creación de conjuntos de datos.

• Recopilación de los datos: es el primer paso del entrenamiento de los LLM. Se recopilan de diferentes fuentes, como archivos de código y redes sociales.
• Limpieza de los datos: una vez recopilados, los datos deben analizarse y prepararse para el entrenamiento. Esto implica eliminar los errores y la información duplicada y corregir las inconsistencias.
• Exploración de los datos: el siguiente paso es analizar los datos para comprender mejor sus características, lo que incluye la identificación de valores atípicos y de patrones.

Preparación de los datos e ingeniería de peticiones: este proceso consiste en permitir que diferentes equipos compartan los datos y desarrollar peticiones para los LLM.

• Preparación de los datos: los datos que se usan para entrenar un LLM se preparan de diversas maneras, como la síntesis y la conclusión de los datos que se recopilaron.
• Ingeniería de peticiones: hace referencia a la creación de solicitudes que se usan para generar texto que garantiza que los LLM generen los resultados deseados.

Perfeccionamiento de los modelos: consiste en el uso de bibliotecas open source populares, como Hugging Face Transformers, para perfeccionar y mejorar el rendimiento de los modelos.

• Entrenamiento de los modelos: después de que se preparan los datos, el LLM se entrena o perfecciona con un algoritmo de machine learning para que aprenda los patrones que surgen de los datos.
• Evaluación de los modelos: una vez que se entrenó el LLM, debe evaluarse su rendimiento. Para ello, se usa un conjunto de datos que no se utilizó durante el entrenamiento.
• Perfeccionamiento de los modelos: si el LLM no funciona bien, se puede perfeccionar, lo que implica modificar sus parámetros para mejorar el rendimiento.

Revisión y control de los modelos: es el proceso de descubrir elementos, compartirlos y realizar aportes a los diferentes modelos de machine learning con la ayuda de plataformas open source de MLOps, como Kubeflow.

• Revisión de los modelos: una vez que se haya perfeccionado el LLM, hay que revisarlo para garantizar que sea seguro y confiable, lo cual incluye comprobar los sesgos y los riesgos de seguridad.
• Control de los modelos: se refiere a gestionar los LLM a lo largo de su ciclo de vida. Esto implica supervisar su rendimiento, realizar cambios según sea necesario y retirarlos cuando ya no se los necesite.

Inferencias y distribución de los modelos: se trata del proceso de gestionar los detalles de producción, como la frecuencia con la que se actualiza un modelo o los tiempos de solicitud. 

• Distribución de los modelos: una vez que se revisa y aprueba el LLM, puede llevarse a la producción y distribuirse a los usuarios mediante una interfaz de programación de aplicaciones (API).
• Inferencia de los modelos: una aplicación puede hacer consultas a la API para que genere texto o responda preguntas. Esto se puede realizarse de varias maneras, por ejemplo, mediante una interfaz de programación de aplicaciones de transferencia de estado representacional (API REST) o una aplicación web.

Supervisión de los modelos con retroalimentación humana: hace referencia a la creación de modelos y datos que supervisan el comportamiento atípico o negativo de los usuarios.

• Supervisión de los modelos: después de implementar el LLM, es necesario supervisarlo para garantizar que funcione según lo esperado. Esto incluye realizar un seguimiento, identificar problemas e implementar cambios según sea necesario.
• Retroalimentación humana: este proceso, que se usa para mejorar el rendimiento de los LLM, consiste en brindar retroalimentación sobre el texto que generan los modelos o identificar cualquier problema con su rendimiento.

Una plataforma de LLMOps proporciona a los desarrolladores y los equipos un entorno que promueve la colaboración a través de la ingeniería de peticiones, el análisis de datos, el seguimiento de las pruebas y la gestión de los LLM. También se ocupa del traslado, la implementación y la supervisión de los modelos en entornos gestionados. Al contar con una mejor gestión de las bibliotecas, la plataforma permite disminuir los costos operativos y prescindir de personal técnico muy capacitado para llevar a cabo tareas como el procesamiento de datos, la supervisión de los modelos y la implementación.

Aprende a elegir una plataforma para la inteligencia artificial y las LLMOps

Red Hat ofrece las bases para que tu equipo pueda aprovechar la inteligencia artificial, ya sea que desees aprender a utilizar las LLMOps para tu beneficio o simplemente comprender las operaciones del machine learning.

Red Hat® AI es nuestra cartera de productos de inteligencia artificial basada en soluciones que nuestros clientes ya conocen. 

Con Red Hat AI, las empresas logran:

• adoptar la inteligencia artificial y generar innovaciones con ella de manera rápida;
• simplificar el proceso de distribución de soluciones basadas en inteligencia artificial;
• implementar recursos en cualquier entorno.

Descubre Red Hat AI

La herramienta de LLMOps adecuada puede gestionar y automatizar el ciclo de vida de tus LLM. Red Hat OpenShift® AI es capaz de administrar el ciclo de vida de los modelos de inteligencia artificial predictivos y generativos en los distintos entornos de nube híbrida. Así, los desarrolladores pueden implementar, supervisar y mantener los LLM sin problemas.

Descubre Red Hat OpenShift AI