InstructLab, qu'est-ce que c'est ?

InstructLab simplifie la personnalisation des grands modèles de langage (LLM) à l'aide de données privées. 

Les LLM servent de base aux outils d'IA générative, comme les dialogueurs (ou chatbots) et les assistants de codage. Certains sont totalement propriétaires (à l'instar des modèles GPT d'OpenAI ou Claude d'Anthropic), tandis que d'autres intègrent plus ou moins de composants Open Source liés aux données de préentraînement et aux restrictions d'utilisation (comme les modèles Llama de Meta, Mistral de Mistral AI et Granite d'IBM).

Les professionnels de l'IA doivent souvent adapter les LLM préentraînés pour satisfaire les besoins de leur entreprise. La marge de manœuvre est cependant limitée :

• L'étape de réglage fin, qui permet au LLM d'apprendre des connaissances et compétences spécifiques, implique une phase d'entraînement coûteuse et gourmande en ressources.
• Comme il est impossible de répercuter dans le LLM les améliorations que les utilisateurs apportent en continu, ces modèles n'en bénéficient pas.
• L'adaptation d'un LLM nécessite de collecter de grandes quantités de données générées par l'humain, une tâche chronophage et coûteuse.

L'approche adoptée avec InstructLab vient lever ces obstacles. En effet, elle réduit considérablement la quantité de ressources de calcul et d'informations générées par l'humain habituellement nécessaire pour réentraîner un LLM.

Le mot InstructLab est dérivé d'un projet d'IBM Research baptisé LAB, pour Large-scale Alignment for chatBots (ou alignement à grande échelle des dialogueurs). L'alliance MIT-IBM Watson AI Lab, composée de membres du MIT et d'IBM Research, a décrit la méthode LAB dans un article de recherche en 2024.

Parce qu'InstructLab n'est associé à aucun modèle en particulier, il peut aider au réglage fin et améliorer les connaissances et compétences de tous types de LLM. Cet « arbre de connaissances et compétences » est continuellement enrichi par diverses contributions et sert à produire des versions du LLM toujours plus sophistiquées. 

Le projet InstructLab vise à faciliter le réentraînement régulier des modèles, tout en écourtant les délais d'itération. Les entreprises peuvent également utiliser les outils d'alignement des modèles InstructLab pour entraîner leurs propres LLM, avec leurs connaissances et compétences.

Apprendre à déployer l'IA à l'échelle de l'entreprise

La méthode LAB comprend trois processus :

• Sélection des données dans la taxonomie : la taxonomie est un ensemble de données d'entraînement diverses, sélectionnées par l'humain et qui servent d'exemples pour les nouvelles connaissances et compétences du modèle.
• Génération de données synthétiques à grande échelle : le modèle est ensuite appliqué pour générer de nouveaux exemples à partir des données d'entraînement fournies en entrée. La qualité des données synthétiques étant variable, les résultats sont automatiquement affinés, ce qui garantit leur pertinence et leur fiabilité.
• Réglage de l'alignement à grande échelle et par itération : le modèle est finalement réentraîné à l'aide des données synthétiques. Il subit alors deux réglages : le réglage des connaissances, puis des compétences.

L'ensemble de données s'étoffe grâce à l'apport de nouvelles compétences et connaissances, qui améliorent la qualité du modèle. 

Ci-dessous, nous allons comparer InstructLab aux autres approches de personnalisation des LLM pour les cas d'utilisation spécifiques d'un domaine.

Préentraînement

Le préentraînement correspond à la phase la plus fondamentale de la personnalisation des modèles. Il permet aux entreprises de sélectionner les données d'entraînement qui détermineront la compréhension de base des modèles. 

Cette étape consiste à entraîner le LLM à prédire la prochaine unité de texte à partir de plusieurs milliers de milliards d'éléments de données non étiquetés. Il s'agit d'un processus coûteux qui peut demander des mois de travail et des milliers de GPU. Seules les entreprises possédant énormément de ressources parviennent à préentraîner un LLM ultraperformant.

Réglage de l'alignement

Après son préentraînement, le modèle fait l'objet d'un alignement afin d'optimiser la pertinence et la précision des réponses produites. Lors de la première phase de ce processus, appelée réglage des instructions, le LLM est directement entraîné sur des tâches spécifiques. 

Vient ensuite l'étape d'ajustement des préférences, qui peut inclure un apprentissage par renforcement à partir de retours humains. Des humains testent le modèle, évaluent ses résultats et notent leurs préférences. Plusieurs cycles de retours et d'adaptations sont parfois nécessaires pour optimiser le modèle.

Les études prouvent que les commentaires humains lors du réglage de l'alignement libèrent davantage le potentiel du modèle, même si leur nombre reste bien inférieur au volume des données de préentraînement (des dizaines de milliers d'annotations humaines contre plusieurs billions d'éléments de données).

InstructLab

La méthode LAB part du principe qu'il est possible de tirer parti de l'alignement des modèles avec un ensemble de données humaines encore plus réduit. Un modèle d'IA est capable de créer une grande quantité de données synthétiques à partir d'un petit nombre d'exemples humains, de les affiner, puis de les exploiter pour optimiser les processus d'entraînement et de réglage. À l'inverse du réglage des instructions qui nécessite des milliers d'exemples de commentaires humains, la méthode LAB produit un modèle bien plus performant, avec très peu d'exemples fournis par l'humain.

InstructLab et génération augmentée de récupération

La méthode InstructLab et la génération augmentée de récupération (RAG) résolvent des problèmes bien distincts.

La RAG est un moyen économique de compléter la phase de préentraînement du LLM en lui apportant des connaissances propres à un domaine. C'est ce qui permet par exemple à un dialogueur de générer des réponses précises en lien avec un domaine ou une activité, sans avoir besoin de réentraîner le modèle. 

Avec la RAG, les documents contenant les connaissances sont stockés dans une base de données vectorielle, puis récupérés par petits blocs et transmis au modèle via les requêtes des utilisateurs. Cette approche permet d'accéder rapidement à des informations via un LLM ou de lui ajouter des données propriétaires qui restent protégées. 

La méthode InstructLab, quant à elle, s'appuie sur les contributions des utilisateurs finaux pour générer régulièrement de nouvelles versions toujours plus abouties du LLM. InstructLab permet d'enrichir le modèle de nouvelles connaissances et compétences.

Il est possible de doper l'efficacité du processus RAG en appliquant cette méthode à un modèle réglé via InstructLab.

En savoir plus sur la RAG

Avec Red Hat AI InstructLab on IBM Cloud, il est possible de contribuer à un LLM sans posséder ni exploiter d'infrastructure matérielle.

Utilisé seul, le projet Open Source Red Hat InstructLab simplifie le développement des LLM. Il se base sur une approche économique pour aligner des modèles en exploitant moins de données et de ressources.

Conçue pour les secteurs d'activité les plus réglementés, IBM Cloud est une plateforme cloud d'entreprise qui offre un haut niveau de résilience, de performance, de sécurité et de conformité.

Ensemble, Red Hat AI InstructLab et IBM Cloud forment une solution évolutive et rentable qui permet de simplifier et sécuriser l'adaptation des LLM aux cas d'utilisation propres à l'entreprise.

En savoir plus sur Red Hat InstructLab on IBM Cloud