Ajuster les LLM de façon évolutive et rentable

Dans les principaux cas d'utilisation de l'intelligence artificielle (IA), la capacité d'un grand modèle de langage (LLM) à identifier des schémas et des relations dans un large éventail de données est souvent suffisante. Pour se démarquer de la concurrence, les entreprises doivent toutefois miser sur leur expertise métier, leur « botte secrète » en quelque sorte. Cette spécialisation dans un domaine particulier exige de personnaliser le LLM afin de pouvoir exploiter pleinement sa taxonomie, ses compétences et ses connaissances.

Le défi est alors le suivant : afin de gagner en compétitivité, comment adapter un LLM généraliste à un cas d'utilisation spécifique, en tenant compte du domaine d'expertise, du jargon métier et des interactions des clients, tout en maîtrisant les coûts ? L'idéal est de commencer par de petits projets et de progresser rapidement, en générant continuellement de la valeur ajoutée.

Il existe plusieurs approches, notamment le réglage des instructions génératives et la génération augmentée de récupération, mais ces techniques ont leurs limites. Pour optimiser les performances du modèle dans un domaine, il faut aller plus loin et le réentraîner sur une tâche ou des données bien spécifiques via le réglage fin.

Le réglage fin et l'adaptation d'un LLM posent toutefois des difficultés :

• L'étape de réglage fin, qui permet au LLM d'interpréter des connaissances spécifiques, implique d'entraîner un modèle. Or, l'entraînement est une tâche coûteuse qui consomme énormément de ressources.
• L'adaptation d'un LLM nécessite de collecter de grandes quantités de données générées par l'homme et soigneusement sélectionnées. Long et coûteux, ce processus soulève aussi des problèmes concernant la sécurité et la confidentialité.
• Le réglage fin nécessite des compétences en science des données qui sont de plus en plus coûteuses et difficiles à trouver.

Les atouts de Red Hat

Red Hat AI permet aux entreprises d'adopter plus rapidement l'IA en mettant à leur disposition de petits modèles spécifiques, des techniques de personnalisation efficaces ainsi que la flexibilité nécessaire pour développer et déployer des applications dans tous types d'environnements. Cette suite complète de fonctionnalités comprend Red Hat Enterprise Linux AI (RHEL AI), Red Hat OpenShift AI, ainsi que des accélérateurs et des services.

Conçue pour développer, tester et exécuter des modèles de fondation d'IA générative, la plateforme RHEL AI inclut InstructLab, un projet communautaire qui facilite l'expérimentation avec les LLM Granite d'IBM.

Présentation d'InstructLab

InstructLab est dérivé d'un projet d'IBM Research sur la méthode LAB (Large-scale Alignment for chatBots), laquelle se décompose en trois étapes :

• Sélection des données : des spécialistes au sein de l'entreprise, sans formation ni expérience en science des données, constituent la taxonomie de connaissances et de compétences propres à leur domaine.
• Génération de données synthétiques à grande échelle : un modèle est ensuite utilisé pour générer de nouveaux exemples à partir des données sélectionnées. L'utilisation de données synthétiques permet d'influencer le modèle et d'étendre ses connaissances du domaine. Hormis le fait que ces données constituent en soi des ressources précieuses, leur génération automatique ne coûte pas cher et se veut plus sûre puisqu'aucune donnée à caractère personnel n'est incluse.
• Réglage à grande échelle et par itération : le modèle est finalement réentraîné à l'aide des données synthétiques. Il passe alors par deux phases de réglages : le réglage des connaissances, puis des compétences.

Grâce à la méthode LAB, le modèle conserve ses capacités génératives et sa précision d'origine tout en intégrant de nouvelles compétences.

Adopter une approche progressive

La plateforme Red Hat OpenShift AI prend en charge l'exécution de la méthode LAB en entreprise. Open Source, elle facilite la gestion du cycle de vie des modèles d'IA et des applications basées sur l'IA. Elle fournit des services de développement de modèles et d'automatisation des processus d'IA (création de pipelines de fonction, entraînement des modèles, réglage, etc.), ainsi que des services prêts à l'emploi pour le suivi des essais, la gestion des versions des modèles et la surveillance globale. La plateforme OpenShift AI s'appuie sur plusieurs des projets Open Source les plus courants, donc certains spécialement pour la méthode LAB :

• Data Science Pipelines (DSP) : un service basé sur Kubeflow Pipelines pour la création et le déploiement de workflows d'IA portables et évolutifs.
• Kubeflow Training Operator (KFTO) : un opérateur qui permet le réglage fin et l'entraînement distribué et évolutif des modèles.

Red Hat a intégré DSP et KFTO pour automatiser la méthode, ce qui rend le processus plus évolutif, efficace et facile à auditer. 

Grâce à DSP, il est possible de représenter visuellement le processus de réglage fin LAB sous forme de graphe orienté acyclique, un format qui simplifie la compréhension des différentes phases et du statut d'exécution pour toutes les parties prenantes. OpenShift AI permet aussi aux équipes d'ingénierie de l'IA de suivre l'avancement via un tableau de bord centralisé qui affiche, entre autres, des indicateurs de performance ainsi que le modèle affiné. Ces résultats sont versionnés et suivis automatiquement. Ainsi, les équipes d'ingénierie et de science des données peuvent observer l'évolution des performances du modèle au fil des itérations et des modifications apportées aux paramètres et ressources. 

Enfin, l'intégration entre KFTO et DSP permet aux équipes de science des données et MLOps d'exploiter pleinement leur cluster OpenShift de manière évolutive, et ce pour un coût faible. En fonction de l'investissement prévu, les entreprises peuvent allouer des quotas de ressources et définir le nombre de nœuds de calcul GPU pour l'entraînement des modèles. KFTO optimise l'utilisation et la mise à l'échelle des ressources, sans intervention humaine. La plateforme OpenShift AI facilite également la collaboration entre les spécialistes d'un domaine, les data scientists et l'équipe d'ingénierie de l'IA grâce à une interface utilisateur adaptée à chaque membre.

Découvrez plus en détail DSP sur OpenShift et comment affiner un LLM de façon évolutive en lisant l'article sur le réglage fin d'un LLM avec Kubeflow Training Operator sur le blog Red Hat Developer.