¿Qué es el perfeccionamiento con eficiencia de parámetros?

Se necesitan recursos informáticos y dinero para realizar operaciones con modelos de lenguaje de gran tamaño (LLM). El perfeccionamiento con eficiencia de parámetros (PEFT) es un conjunto de técnicas que permiten ajustar solo una parte de los parámetros de un LLM para utilizar menos recursos. 

Con PEFT, la personalización de estos modelos es más accesible y los resultados son comparables con los de los métodos tradicionales. 

Descubre Red Hat AI

El perfeccionamiento y el PEFT son técnicas de alineación de los LLM. Ajustan los modelos y les incorporan los datos que deseas para producir el resultado que buscas. Puede decirse que el PEFT es la evolución del perfeccionamiento tradicional.

El método tradicional consiste en continuar entrenando todo el LLM para realizar ajustes, y, para eso, se precisan muchos recursos informáticos, datos y tiempo. 

En cambio, con el PEFT, solo se modifica una pequeña parte de los parámetros del modelo, lo cual hace que sea más accesible para las empresas que no tienen una gran cantidad de recursos. 

El PEFT ofrece la ventaja de entrenar modelos de gran tamaño de manera más rápida y en un hardware más pequeño. 

Específicamente, ofrece:

• Mayor velocidad de entrenamiento: al actualizarse menos parámetros, el PEFT permite que las repeticiones y los experimentos se realicen más rápido.
• Optimización de recursos: el PEFT utiliza mucha menos memoria de GPU que el perfeccionamiento tradicional y se puede ejecutar en los sistemas de hardware de uso personal. Esto significa que puedes entrenar un LLM en una computadora portátil en vez de utilizar un servidor exclusivo.
• Capacidad para solucionar el olvido catastrófico: el olvido catastrófico se da cuando el modelo no recuerda el conocimiento que ya había aprendido cuando se le incorporan datos de entrenamiento nuevos. El PEFT permite que se evite esta situación, ya que solo actualiza pocos parámetros en vez del modelo completo.
• Portabilidad: los modelos que se perfeccionan con la técnica del PEFT son más pequeños y sencillos y se pueden implementar en todas las plataformas con mayor facilidad. Gracias a esto, es más fácil actualizarlos y mejorarlos en entornos operativos.
• Sostenibilidad: el PEFT se adapta a los objetivos operativos ecológicos, ya que utiliza menos recursos informáticos.
• Accesibilidad: los equipos y las empresas que tienen menos recursos informáticos pueden perfeccionar modelos y obtener los resultados deseados.

Los LLM están compuestos por varias capas de redes neuronales. Estas son una especie de diagrama de flujo que comienza con una capa de entrada y termina con una de salida. Entre las dos, hay muchas otras y cada una cumple una función para procesar los datos mientras se trasladan por la red neuronal.

Si quieres ajustar la forma en la que el modelo procesa la información, debes cambiar los parámetros. 

Técnica PEFT: optimización de los LLM con GPU

Los parámetros de un LLM

Los parámetros (también conocidos como ponderaciones) determinan la forma en la que un LLM comprende el lenguaje. 

Imagínate que son engranajes de una máquina que se pueden ajustar. Cada parámetro tiene un valor numérico específico y, si se modifica, se verá afectada la capacidad del modelo para interpretar y generar lenguaje. 

Un LLM puede contener miles de millones (incluso cientos de miles de millones) de parámetros. Mientras más haya en un modelo, más complejas serán las tareas que pueda llevar a cabo. 

Sin embargo, si aumenta la cantidad de parámetros, también se incrementará la necesidad de recursos de hardware. Es posible que las empresas no tengan los medios para invertir en estos requisitos y es por esto que las técnicas como las del PEFT son tan importantes. 

Para aumentar la eficiencia del modelo, es necesario aprender a eliminar los parámetros innecesarios sin dejar de lado la precisión.

Eficiencia en el perfeccionamiento de parámetros

El PEFT modifica estratégicamente solo una pequeña cantidad de parámetros, pero conserva intacta gran parte de la estructura del modelo entrenado. Estos son algunos ejemplos de métodos para implementar los ajustes:

Bloqueo de capas del modelo: durante la inferencia, se envían los cálculos a través de todas las capas de la red neuronal. Si se bloquean algunas de ellas, se reduce la capacidad de procesamiento que se necesita para llevar a cabo los cálculos. 

Adición de adaptadores: los adaptadores son como un paquete de expansión de un juego de mesa. Se agregan sobre las capas del modelo previamente entrenado y se entrenan con la información específica del campo de conocimiento o la aplicación. En este caso, el modelo original no cambia, sino que obtiene funciones nuevas. 

Los métodos para implementar el PEFT son variados, por ejemplo:

• LoRA (adaptación de bajo rango),
• QLoRA (adaptación de bajo rango cuantificada),
• ajuste de prefijos,
• ajuste de indicaciones,
• ajuste optimizado de indicaciones.

Obtén más información sobre las diferencias entre LoRA y QLoRA

Es una forma de comunicarle una determinada intención al LLM para que este desarrolle un resultado que se ajuste a tus objetivos.

Piensa en esta situación: un LLM puede escribir un correo electrónico con el estilo de Shakespeare, pero no tiene nada de información sobre los productos que ofrece tu empresa.

Para entrenar al modelo con tu información específica, puedes usar el perfeccionamiento. 

El proceso consiste en continuar entrenando un modelo ya entrenado con un conjunto de datos más personalizados, de manera que lleve a cabo tareas específicas de forma eficaz. Estos datos adicionales modifican los parámetros del modelo y crean una versión nueva que remplaza al modelo original.

El perfeccionamiento es importante para personalizar un LLM para que se implemente en el caso práctico de un área específica de conocimiento. Sin embargo, los métodos tradicionales de perfeccionamiento conllevan un costo. 

Motivos por los que el perfeccionamiento es costoso

Hay muchos factores que contribuyen al costo del perfeccionamiento de los LLM, como por ejemplo:

• Requisitos de la GPU: el perfeccionamiento necesita mucha capacidad de procesamiento. Las unidades de procesamiento gráfico (GPU) tienen un costo alto de adquisición y operación y deben ejecutarse por largos períodos durante el proceso. Los costos de la energía y la refrigeración también pueden ser altos.
• Requisitos de datos: los conjuntos de datos que se necesitan para perfeccionar un LLM con información nueva deben ser de alta calidad y estar etiquetados correctamente. La adquisición, el diseño y el procesamiento previo de estos datos pueden generar costos elevados y llevar mucho tiempo. 

La alineación de LLM es el proceso de entrenamiento y personalización de un modelo de lenguaje para que arroje los resultados que se buscan.

A la hora de elegir una técnica, debes tener en cuenta estos factores:

• Dependencia de los datos: ¿cuántos datos necesitas? ¿Tienes acceso a ellos?
• Precisión: ¿qué tanto afectará la técnica a la precisión del modelo después del perfeccionamiento?
• Complejidad para los usuarios: ¿qué tan sencillo es su uso?

En comparación con el perfeccionamiento tradicional, el PEFT requiere menos datos, tiene tasas muy altas de precisión y su uso es más sencillo para los usuarios. 

Estas son otras opciones de alineación de LLM que puedes explorar:

• Generación aumentada por recuperación (RAG): complementa la información de un LLM con las fuentes externas que elijas, como los repositorios de datos, los conjuntos de textos y la documentación que ya posees.
  • Tiene alta dependencia de los datos, pero también cuenta con altas tasas de precisión y es una técnica más sencilla que el perfeccionamiento. Obtén más información sobre las diferencias entre RAG y el perfeccionamiento.
• InstructLab: este proyecto de la comunidad creado por IBM y Red Hat permite que todos los trabajadores de la empresa aporten conocimientos y habilidades que se incorporan en un modelo de lenguaje.
  • Tiene poca dependencia de los datos porque utiliza información sintética para complementar aquella generada por personas. Su precisión es comparable con la del perfeccionamiento y es fácil de usar. 

El perfeccionamiento con eficiencia de parámetros es una de las numerosas técnicas de alineación que admite Red Hat® OpenShift® AI.

OpenShift AI es una plataforma flexible de MLOps con herramientas para diseñar, implementar y gestionar aplicaciones que utilizan la inteligencia artificial. Es compatible con el ciclo de vida completo de los experimentos y los modelos de inteligencia artificial/machine learning (aprendizaje automático) tanto en las instalaciones como en la nube pública.

Obtén más información sobre Red Hat OpenShift IA

Red Hat® AI es una cartera de productos y servicios que ayudan a tu empresa en cualquier etapa del proceso de aplicación de la inteligencia artificial, ya sea que estés en los inicios del proyecto o en condiciones de expandirlo a la nube híbrida. Respalda las iniciativas de inteligencia artificial generativa y predictiva para tus casos prácticos específicos.

La impulsan las tecnologías open source y un ecosistema de partners que se centran en el rendimiento, la estabilidad y la compatibilidad con la GPU en varias infraestructuras. Ofrece un perfeccionamiento eficiente para los modelos pequeños y específicos y tiene la flexibilidad para realizar implementaciones en donde sea que se encuentren los datos.