Perfeccionamiento adaptable y rentable para los LLM

En los casos prácticos de inteligencia artificial de uso general, la función de los modelos de lenguaje de gran tamaño (LLM) suele ser suficiente para entender los patrones y las relaciones en una amplia variedad de datos. Sin embargo, para tener una ventaja competitiva, las empresas deben aprovechar su propia experiencia en el sector, es decir, su clave del éxito. La naturaleza específica del sector de una empresa requiere un LLM personalizado para aprovechar al máximo su sistema de clasificación, habilidades y conocimientos.

Entonces, debe preguntarse: para ganar ventaja competitiva, ¿de qué forma puedo adaptar un LLM de uso general a un caso práctico, un área de conocimiento, una jerga, los datos de los clientes específicos, entre otros aspectos? ¿Cómo se puede hacer de manera rentable? Se recomienda empezar de forma gradual, progresar con rapidez y ofrecer valor a la empresa permanentemente.

Hay varias maneras de abordar este asunto, como el ajuste de las peticiones y la generación aumentada por recuperación (RAG). Sin embargo, para superar las limitaciones de estas técnicas, debemos conocer el perfeccionamiento, que es el proceso de ajustar un modelo entrenado previamente con tareas o un conjunto de datos específicos para mejorar su rendimiento en una aplicación determinada.

No obstante, hay varios desafíos relacionados con el perfeccionamiento y la mejora de los LLM, como los siguientes:

• El perfeccionamiento de un LLM para entender un área específica de conocimiento suele requerir entrenamientos costosos que consumen muchos recursos.
• Las mejoras de los LLM suelen requerir grandes volúmenes de datos generados por personas y seleccionados cuidadosamente, lo cual lleva mucho tiempo y es costoso. Además, estos datos pueden suponer un riesgo para la seguridad y la privacidad.
• Para el perfeccionamiento, es necesario contar con analistas de datos, que son cada vez más costosos y difíciles de encontrar.

La función de Red Hat AI

Red Hat AI agiliza la adopción de la inteligencia artificial empresarial con modelos pequeños y diseñados para propósitos específicos, técnicas de personalización eficientes y flexibilidad para desarrollar e implementar sistemas en cualquier entorno. Su cartera de productos incluye Red Hat Enterprise Linux AI (RHEL AI), Red Hat OpenShift AI, aceleradores y servicios con un conjunto integral de funciones para los clientes.

RHEL AI está diseñada para desarrollar, probar y ejecutar modelos base de inteligencia artificial generativa e incluye una versión de InstructLab, que es un proyecto de la comunidad que simplifica las pruebas de los desarrolladores con los LLM Granite de IBM.

Acerca de InstructLab

InstructLab se basa en el trabajo de IBM Research sobre Large-scale Alignment for chatBots (LAB). Este método consta de tres etapas:

• Selección de datos: es un enfoque colaborativo destinado a los especialistas en la materia que no tienen experiencia en el análisis de datos ni están capacitados en el área. El método LAB permite que estas personas contribuyan con un sistema de clasificación seleccionado de conocimientos y habilidades específicos del área.
• Generación de datos sintéticos a gran escala: los modelos se utilizan para generar más ejemplos que se basan en los datos seleccionados. El uso de datos sintéticos es una práctica importante para entrenar un modelo y ampliar su área de conocimiento disponible. Esos datos por sí solos también son un recurso valioso, y su generación automática es económica y más segura y no incluye información de identificación personal (PII).
• Perfeccionamiento constante a gran escala: por último, el modelo se vuelve a entrenar con los datos sintéticos generados. El método LAB incluye dos etapas secundarias del perfeccionamiento: del conocimiento y de las habilidades.

Con el método LAB, el modelo mantiene su capacidad generativa y su precisión originales del entrenamiento inicial, al mismo tiempo que adquiere nuevas habilidades.

Comienza de a poco y amplía los modelos sobre la marcha

Red Hat OpenShift AI ofrece una plataforma para ejecutar el método LAB en los entornos empresariales. Es una plataforma de inteligencia artificial open source que permite gestionar el ciclo de vida de los modelos y las aplicaciones que utilizan esta tecnología. Brinda servicios para desarrollar modelos y automatizar los procesos de inteligencia artificial, como canales de procesamiento de características, entrenamiento y perfeccionamiento. También incluye servicios listos para usar que permiten hacer un seguimiento de los experimentos, implementar distintas versiones de los modelos y llevar a cabo una supervisión general. OpenShift AI aprovecha y respalda varios proyectos open source conocidos. En concreto, para el método LAB, utilizamos:

• Canales de análisis de datos (DSP): es un servicio que se basa en Kubeflow Pipelines para diseñar e implementar flujos de trabajo de inteligencia artificial portátiles y adaptables.
• Kubeflow Training Operator (KFTO): es un operador para el perfeccionamiento y el entrenamiento de los modelos de manera distribuida y adaptable.

Red Hat automatizó el método LAB con DSP y KFTO para que todo el proceso sea más adaptable, eficiente y verificable. 

Con DSP, podemos configurar el proceso de perfeccionamiento de LAB con grafos acíclicos dirigidos (DAG) para ofrecer una representación visual del proceso. Las distintas etapas y el estado de ejecución se representan de forma intuitiva para que todas las partes interesadas puedan entenderlas. Los ingenieros de inteligencia artificial también pueden controlar el progreso del método LAB desde el panel de OpenShift AI y consultar los distintos resultados, incluidos los indicadores y el modelo perfeccionado. También se crean versiones de estos y se realiza un seguimiento automáticamente para que los ingenieros de inteligencia artificial y los analistas de datos comparen los cambios en el rendimiento del modelo mientras modifican y perfeccionan los parámetros y los recursos. 

Gracias a la integración de KFTO y DSP, los equipos de análisis de datos y de operaciones de machine learning (MLOps) utilizan los clústeres actuales de OpenShift de forma rentable y adaptable. En función de las inversiones que se prevén, las empresas pueden configurar las cuotas de los recursos y la cantidad de nodos de trabajo de OpenShift con GPU que se ejecutan en la etapa de entrenamiento. KFTO gestiona la capacidad de ajuste y el uso eficiente de estos recursos en nombre del usuario. Además, OpenShift AI permite que los especialistas en la materia, los analistas de datos y los ingenieros de inteligencia artificial colaboren a través de una interfaz de usuario adaptada para estos distintos usuarios.

Obtén más información sobre los DSP con el video Data science pipelines on OpenShift y comienza a implementar el perfeccionamiento adaptable después de leer How to fine-tune LLMs with Kubeflow Training Operator en el blog Red Hat Developer.