Le PEFT, qu'est-ce que c'est ?

Les grands modèles de langage (LLM) nécessitent des ressources de calcul et un certain budget pour fonctionner. Le PEFT (Parameter-Efficient Fine-Tuning), ou réglage fin efficace des paramètres, est un ensemble de techniques qui n'ajustent qu'une partie des paramètres d'un LLM afin d'économiser des ressources. 

Avec le PEFT, la personnalisation des LLM devient plus accessible et les résultats produits sont comparables à ceux d'un modèle à réglage fin traditionnel. 

Découvrir Red Hat AI

Le réglage fin et le PEFT sont deux techniques d'alignement des LLM. Elles les affinent et leur fournissent des données pour produire le résultat souhaité. Le PEFT est une évolution du réglage fin traditionnel.

Pour ajuster un LLM, le réglage fin traditionnel entraîne le modèle dans son ensemble. Ce processus requiert du temps ainsi qu'un volume important de ressources de calcul et de données. 

Le PEFT ne modifie qu'une petite partie des paramètres d'un modèle. Il s'agit donc d'une méthode plus accessible pour les entreprises qui disposent de ressources limitées. 

Le PEFT permet d'entraîner de grands modèles plus rapidement et sur du matériel moins volumineux. 

Voici quelques avantages de ce processus :

• Entraînement plus rapide : en mettant à jour un plus petit nombre de paramètres, le PEFT permet d'expérimenter et d'itérer plus rapidement.
• Utilisation efficace des ressources : le PEFT utilise beaucoup moins de mémoire de GPU que le réglage fin traditionnel et peut s'exécuter sur du matériel grand public. Il est ainsi possible d'entraîner un LLM sur un ordinateur portable plutôt que sur un serveur réservé à cet usage.
• Immunité à l'interférence catastrophique : l'interférence catastrophique survient quand le modèle oublie les connaissances déjà acquises au moment où il reçoit de nouvelles données d'entraînement. Le PEFT permet d'éviter ce phénomène, car il ne met à jour que quelques paramètres, et non le modèle tout entier.
• Portabilité : les modèles réglés à l'aide de la technique PEFT sont plus petits et plus faciles à gérer et à déployer entre les plateformes. Il est ainsi plus simple de les mettre à jour et de les améliorer dans un environnement d'exploitation.
• Durabilité : le PEFT favorise une exploitation écoresponsable, car il utilise moins de ressources de calcul.
• Accessibilité : les équipes et entreprises qui disposent de ressources de calcul limitées peuvent tout de même effectuer le réglage fin de modèles et obtenir des résultats pertinents.

Les LLM sont composés de plusieurs couches de réseaux neuronaux. Pour mieux comprendre, imaginez une sorte d'organigramme qui commence par un niveau d'entrée et se termine par un niveau de sortie. Entre ces deux niveaux se trouvent d'autres niveaux, qui jouent chacun un rôle dans le traitement des données à travers le réseau neuronal.

Pour modifier la manière dont un modèle de langage traite les informations, il est nécessaire de modifier ses paramètres. 

Découvrir comment optimiser des LLM avec des GPU grâce à la technique PEFT

Définition des paramètres dans un LLM

Parfois appelés « pondérations », les paramètres façonnent la compréhension du langage par le LLM. 

On pourrait les comparer à des pièces mobiles au sein d'une machine. Chaque paramètre dispose d'une valeur numérique spécifique dont la modification affecte la capacité du modèle à interpréter et générer un langage. 

Un LLM peut contenir des milliards, voire des centaines de milliards de paramètres. Plus ce nombre est élevé, plus le modèle est capable de réaliser des tâches complexes. 

Néanmoins, les modèles qui contiennent le plus de paramètres sont aussi ceux qui nécessitent le plus de ressources matérielles. Certaines entreprises ne peuvent pas investir dans ce domaine, ce qui renforce l'importance des techniques de réglage telles que le PEFT. 

Pour augmenter l'efficacité du modèle, découvrez comment éliminer les paramètres non nécessaires sans perdre en précision.

Réglage fin et efficace des paramètres

Le PEFT ne modifie qu'un petit nombre de paramètres stratégiques tout en préservant la majeure partie de la structure du modèle préentraîné. Voici quelques exemples de méthodes utilisées pour procéder à ces ajustements :

Gel de certaines couches du modèle : pendant l'inférence, les calculs passent par toutes les couches d'un réseau neuronal. En gelant certaines de ces couches, il est possible de réduire la puissance de traitement nécessaire pour effectuer les calculs. 

Ajout d'adaptateurs : les adaptateurs sont comme un pack d'extension pour un jeu de plateau. Ils viennent s'ajouter aux couches du modèle préentraîné, puis sont entraînés pour intégrer des informations propres à un domaine ou à une application. Dans cet exemple, le modèle d'origine ne change pas, mais se dote de nouvelles capacités. 

Plusieurs méthodes permettent d'appliquer la technique PEFT :

• LoRA (adaptation à faible rang)
• QLoRA (adaptation quantifiée à faible rang)
• Réglage de préfixes
• Réglage d'instructions génératives
• P-tuning

En savoir plus sur les méthodes LoRA et QLoRA

Le réglage fin est une manière de communiquer une intention à un LLM pour que celui-ci puisse adapter ses résultats en fonction des objectifs.

Prenez, par exemple, un LLM capable de rédiger un e-mail dans le style de Shakespeare, mais qui ne connaît rien des produits vendus par votre entreprise.

Pour entraîner ce modèle avec des informations concernant votre activité, vous pouvez utiliser le réglage fin. 

Ce processus consiste à entraîner davantage un modèle préentraîné à l'aide d'un ensemble de données plus personnalisé, afin qu'il réalise efficacement des tâches spécifiques. Ces données d'entraînement complémentaires modifient les paramètres du modèle et en génèrent une nouvelle version qui remplace le modèle d'origine.

Le réglage fin est essentiel pour personnaliser les LLM destinés à un cas d'utilisation propre à un domaine. Cependant, la technique traditionnelle coûte cher. 

Justification du coût du réglage fin

Voici quelques facteurs qui contribuent au coût du réglage fin d'un LLM :

• Exigences en matière de GPU : le réglage fin nécessite une puissance de traitement importante. Les processeurs graphiques (GPU) sont coûteux à l'achat et à l'exploitation, et ils sont sollicités sur de longues périodes par le processus de réglage fin. La consommation énergétique et le refroidissement peuvent également s'avérer coûteux.
• Exigences en matière de données : le réglage fin d'un LLM à l'aide de nouvelles informations requiert des jeux de données de qualité, accompagnés de métadonnées pertinentes. L'acquisition, la création et le prétraitement de ces données sont souvent chronophages et coûteux. 

L'alignement d'un LLM consiste à entraîner et personnaliser un modèle de langage pour qu'il produise les résultats souhaités.

Plusieurs facteurs influencent le choix de la technique d'alignement idéale.

• Dépendance aux données : quelle est la quantité de données nécessaire ? L'accès aux données requises pour cette technique est-il garanti ?
• Précision : quel est l'impact de cette technique sur la précision du modèle après son réglage ?
• Complexité : cette technique est-elle simple à utiliser ?

Par rapport au réglage fin traditionnel, le PEFT nécessite moins de données, présente un niveau de précision très élevé et s'avère facile à utiliser. 

Il existe d'autres options d'alignement de LLM. En voici quelques exemples.

• Génération augmentée de récupération (RAG) : la RAG permet de compléter les données que contient un LLM avec une sélection de sources de connaissances externes, comme des référentiels de données, des corpus et de la documentation.
  • La RAG présente une forte dépendance aux données, mais offre des taux de précision élevés et s'avère moins complexe à utiliser que le réglage fin. Apprenez-en plus sur la RAG et le réglage fin.
• InstructLab : créé par IBM et Red Hat, le projet communautaire InstructLab permet à toute personne au sein d'une entreprise de contribuer à la création d'un modèle de langage grâce à ses connaissances et ses compétences.
  • Le projet InstructLab présente une faible dépendance aux données, car il utilise des données synthétiques pour compléter les données générées par des humains. Sa précision est comparable à celle du réglage fin et les utilisateurs apprécient sa simplicité. 

Le PEFT fait partie des techniques d'alignement prises en charge par Red Hat® OpenShift® AI.

Plateforme MLOps flexible et évolutive, la solution OpenShift AI inclut des outils de création, déploiement et gestion d'applications basées sur l'IA. Ces outils prennent en charge l'intégralité du cycle de vie des essais et des modèles d'IA/AA, sur site et dans le cloud public.

En savoir plus sur Red Hat OpenShift AI

Red Hat® AI est une gamme de produits et services qui permettent aux entreprises d'avancer dans le déploiement de l'IA, qu'elles soient au tout début du processus ou déjà prêtes à évoluer dans le cloud hybride. Cette offre répond aux besoins en matière d'IA prédictive et générative, et convient aux cas d'utilisation propres à chaque entreprise.

Red Hat AI s'appuie sur des technologies Open Source et un écosystème de partenaires axé sur les performances, la stabilité et la prise en charge des GPU au sein d'infrastructures diverses. Elle permet de régler efficacement les petits modèles spécifiques et de les déployer avec flexibilité, quel que soit l'emplacement des données.