¿Qué es el perfeccionamiento con eficiencia de parámetros?

Para poder funcionar, los modelos de lenguaje de gran tamaño (LLM) requieren recursos informáticos y dinero. El perfeccionamiento con eficiencia de parámetros (PEFT) es un conjunto de técnicas que permiten ajustar solo una parte de los parámetros de un LLM para utilizar menos recursos. 

El PEFT facilita el acceso a la personalización de los LLM y genera resultados similares a los de un modelo tradicional perfeccionado. 

Descubre Red Hat AI

El perfeccionamiento y el PEFT son técnicas de alineación de LLM. Ajustan los modelos y les incorporan los datos que deseas para producir el resultado que buscas. Puede decirse que el PEFT es la evolución del perfeccionamiento tradicional.

El método tradicional consiste en continuar entrenando todo el LLM para realizar ajustes, y, para eso, se precisan muchos recursos informáticos, datos y tiempo. 

En cambio, con el PEFT, solo se modifica una pequeña parte de los parámetros del modelo, lo cual hace que sea más accesible para las empresas que no tienen una gran cantidad de recursos. 

¿Qué son los modelos como servicio?

El PEFT ofrece la ventaja de entrenar modelos de gran tamaño de manera más rápida y en un hardware más pequeño. 

Específicamente, ofrece:

• Mayor velocidad de entrenamiento: al actualizarse menos parámetros, el PEFT permite que las repeticiones y los experimentos se realicen con mayor rapidez.
• Optimización de recursos: el PEFT utiliza mucha menos memoria de GPU que el perfeccionamiento tradicional y puede ejecutarse en sistemas de hardware de uso personal. Esto significa que puedes entrenar un LLM en una computadora portátil en vez de utilizar un servidor exclusivo.
• Capacidad para solucionar el olvido catastrófico: el olvido catastrófico ocurre cuando, al incorporarle al modelo datos de entrenamiento nuevos, este olvida el conocimiento que ya había adquirido. El PEFT ayuda a evitar esta situación, ya que solo actualiza pocos parámetros en lugar del modelo completo.
• Portabilidad: los modelos que se perfeccionan con la técnica del PEFT son más pequeños y sencillos y se pueden implementar en todas las plataformas con mayor facilidad. Gracias a esto, resulta más sencillo actualizarlos y mejorarlos en entornos operativos.
• Sostenibilidad: el PEFT se ajusta a los objetivos operativos ecológicos, ya que utiliza menos recursos informáticos.
• Accesibilidad: los equipos y las empresas que tienen menos recursos informáticos también pueden perfeccionar modelos y obtener los resultados deseados.

La inteligencia artificial para empresas 

Los LLM están compuestos por varias capas de redes neuronales. Estas son como una especie de diagrama de flujo que comienza con una capa de entrada y termina con una de salida. Entre estas dos, hay muchas otras, y cada una cumple una función para procesar los datos mientras se trasladan por la red neuronal.

Si quieres ajustar la forma en la que el modelo procesa la información, debes cambiar los parámetros. 

Técnica del PEFT: optimización de los LLM con GPU

Los parámetros de un LLM

Los parámetros (también conocidos como ponderaciones) determinan la forma en la que un LLM comprende el lenguaje. 

Imagínate que son engranajes de una máquina que se pueden ajustar. Cada parámetro tiene un valor numérico específico y, si se modifica, se verá afectada la capacidad del modelo para interpretar y generar lenguaje. 

Un LLM puede contener miles de millones (incluso cientos de miles de millones) de parámetros. Cuantos más haya en un modelo, más complejas serán las tareas que puede llevar a cabo. 

Sin embargo, si aumenta la cantidad de parámetros, también se incrementará la necesidad de recursos de hardware. Es posible que las empresas no tengan los medios para invertir en estos requisitos y es por esto que las técnicas como las del PEFT son tan importantes. 

Para aumentar la eficiencia del modelo, es necesario aprender a eliminar los parámetros innecesarios sin dejar de lado la precisión.

Eficiencia en el perfeccionamiento de parámetros

El PEFT modifica estratégicamente solo una pequeña cantidad de parámetros, pero conserva intacta gran parte de la estructura del modelo entrenado. Estos son algunos ejemplos de métodos para implementar los ajustes:

Bloqueo de capas del modelo: durante la inferencia, se envían los cálculos a través de todas las capas de la red neuronal. Si se bloquean algunas de ellas, se reduce la capacidad de procesamiento que se necesita para llevar a cabo los cálculos. 

Incorporación de adaptadores: los adaptadores son como el paquete de expansión de un juego de mesa. Se agregan sobre las capas del modelo entrenado previamente y se entrenan con la información específica del campo de conocimiento o la aplicación. En este caso, el modelo original no cambia, sino que obtiene funciones nuevas. 

Los métodos para implementar el PEFT son varios, por ejemplo:

• LoRA (adaptación de bajo rango),
• QLoRA (adaptación de bajo rango cuantificada),
• perfeccionamiento de prefijos,
• perfeccionamiento de indicaciones,
• perfeccionamiento optimizado de indicaciones.

Obtén más información sobre las diferencias entre LoRA y QLoRA

El perfeccionamiento es una forma de comunicar una determinada intención al LLM para que este desarrolle un resultado que se ajuste a tus objetivos.

Piensa en esta situación: un LLM puede escribir un correo electrónico con el estilo de Shakespeare, pero no tiene nada de información sobre los productos que ofrece tu empresa.

Para entrenar al modelo con tu información específica, puedes usar el perfeccionamiento. 

El proceso consiste en continuar entrenando un modelo ya entrenado con un conjunto de datos más personalizados, de manera que lleve a cabo tareas específicas de forma eficaz. Estos datos adicionales modifican los parámetros del modelo y crean una versión nueva que remplaza al modelo original.

El perfeccionamiento es fundamental a la hora de personalizar un LLM para que se implemente en el caso práctico de un área específica de conocimiento. Sin embargo, los métodos tradicionales de perfeccionamiento conllevan un costo. 

Motivos por los que el perfeccionamiento es costoso

Hay muchos factores que contribuyen al costo del perfeccionamiento de los LLM, como por ejemplo:

• Requisitos de la GPU: el perfeccionamiento requiere una gran capacidad de procesamiento. Las unidades de procesamiento gráfico (GPU) tienen un costo alto de adquisición y operación y deben ejecutarse por largos períodos durante el proceso. Los costos de la energía y la refrigeración también pueden ser altos.
• Requisitos de datos: los conjuntos de datos que se necesitan para perfeccionar un LLM con información nueva deben ser de alta calidad y estar etiquetados correctamente. La adquisición, el diseño y el procesamiento previo de estos datos pueden generar costos elevados y llevar mucho tiempo. 

La alineación de LLM es el proceso de entrenamiento y personalización de un modelo de lenguaje para que arroje los resultados que se buscan.

A la hora de elegir una técnica, debes tener en cuenta estos factores:

• Dependencia de los datos: ¿cuántos datos necesitas? ¿Tienes acceso a los ellos?
• Precisión: ¿qué tanto afectará la técnica a la precisión del modelo después del perfeccionamiento?
• Complejidad para los usuarios: ¿qué tan sencillo es su uso?

En comparación con el perfeccionamiento tradicional, el PEFT requiere menos datos, tiene tasas muy altas de precisión, y es más fácil de usar. 

Otra opción de alineación de LLM que se puede explorar es la generación aumentada por recuperación (RAG). Esta permite complementar los datos que se encuentran dentro de un LLM con las fuentes de datos externas que elijas, como repositorios de datos, conjuntos de textos y documentación. Tiene alta dependencia de los datos, pero también cuenta con altas tasas de precisión y es una técnica más sencilla que el perfeccionamiento. 

Obtén más información sobre las diferencias entre la RAG y el perfeccionamiento.

El perfeccionamiento con eficiencia de parámetros es una de las numerosas técnicas de alineación que admite Red Hat® OpenShift® AI.

OpenShift AI es una plataforma de MLOps flexible y adaptable que cuenta con herramientas para diseñar, implementar y gestionar las aplicaciones con inteligencia artificial. Además, ofrece soporte para todo el ciclo de vida de las pruebas y los modelos de inteligencia artificial/machine learning (aprendizaje automático), ya sea en las instalaciones o en la nube pública.

Obtén más información sobre Red Hat OpenShift IA

Red Hat® AI es una cartera de productos y servicios que ayudan a tu empresa en cualquier etapa del proceso de aplicación de la inteligencia artificial, ya sea que estés en los inicios del proyecto o listo para expandirlo a la nube híbrida. Respalda las iniciativas de inteligencia artificial generativa y predictiva para los casos prácticos exclusivos de tu empresa.

Red Hat AI cuenta con tecnologías open source y un ecosistema de partners que se centra en el rendimiento, la estabilidad y la compatibilidad con las GPU en diversas infraestructuras. Además, ofrece la posibilidad de perfeccionar modelos pequeños y adaptados a tus necesidades de manera eficiente, con la flexibilidad necesaria para implementarlos dondequiera que residan los datos.