Conseils pour les modèles d'instruction des grands modèles de langage (LLM) de l'IA générative

1 juillet 2024Michael Santos13 minutes (temps de lecture)

Les modèles d'IA générative, tels que ChatGPT, sont entraînés à l'aide de divers textes provenant d'Internet. Cependant, l'intelligence artificielle (IA) ne dispose pas d'informations spécifiques sur les documents ou les sources utilisés lors de son entraînement. Au lieu de se concentrer sur des détails, le modèle est entraîné à être général, ce qui lui permet de proposer des réponses créatives, de s'engager dans des conversations complexes et même de faire preuve d'humour. L'IA ne possède cependant pas de compréhension ou de croyance. Ses réponses sont générées à partir de schémas tirés des données d'entraînement.

Les systèmes d'IA tels que ChatGPT ou tout grand modèle de langage (LLM) reflètent les connaissances collectives de l'humanité dans une interface unique. Ils réorganisent les contenus existants sur Internet, mais ne « pensent » pas, ne sont pas « intelligents » au sens humain, n'ont pas d'« intelligence générale » comme capables de résoudre les problèmes généraux et ne sont pas « conscients » de ce qu'ils trouvent.

Fonctionnement de l'IA générative : qu'est-ce qu'un jeton ?

Le fonctionnement de ces modèles repose sur le concept des jetons, c'est-à-dire des unités de langage distinctes allant de caractères individuels à des mots entiers. Ces modèles traitent un nombre spécifique de jetons à la fois à l'aide de calculs mathématiques complexes pour prédire le jeton suivant le plus probable dans une séquence.

Des modèles tels que les transformateurs génératifs pré-entraînés (GPT) génèrent du texte un par un. Après avoir produit chaque jeton, le modèle examine l'ensemble de la séquence qu'il a générée jusqu'à présent et la traite à nouveau pour générer le jeton suivant. Ce processus récursif continue jusqu'à ce que le jeton final termine le texte généré.

Cela signifie que la qualité de la réponse de l'IA dépend de l'instruction ou de l'instruction fournie par l'utilisateur. En d'autres termes, la façon dont nous interagissons avec l'IA et l'instruisons influence considérablement la qualité des réponses qu'elle produit.

L'ingénierie d'instruction générative, qu'est-ce que c'est ?

L'ingénierie d'instruction générativefait référence à la pratique de la conception et de la création d'instructions efficaces permettant aux modèles d'IA d'obtenir les résultats souhaités. Dans le contexte de modèles de langage tels que GPT-3, l'ingénierie d'instruction générative consiste à élaborer un texte d'entrée qui permet au modèle de générer des réponses précises, pertinentes et contextuelles.

Il est très important de disposer d'une ingénierie d'instruction générative efficace, car les modèles de langage tels que GPT-3 ne possèdent pas de compréhension véritable ni de raisonnement logique. Ils génèrent des réponses basées sur des modèles tirés des données d'entraînement. Des instructions génératives bien conçues peuvent aider le modèle à produire des sorties plus précises et significatives, tandis que des instructions génératives mal formulées peuvent conduire à des résultats incorrects ou incohérents.

Qu'est-ce que la conception d'instructions génératives ?

La conception d'instructions génératives est la création systématique d'instructions adaptées à un grand modèle de langage tel que ChatGPT, dans le but d'atteindre un objectif spécifique et bien défini. Cette pratique combine des éléments artistiques et scientifiques, et nécessite :

Une bonne compréhension du grand modèle de langage : tous les grands modèles de langage ne répondent pas à une même instruction de la même manière. En outre, certains modèles de langage peuvent contenir des mots-clés ou des indices distincts qui déclenchent des interprétations spécifiques dans leurs réponses.
Une expertise du domaine : la maîtrise du domaine concerné est cruciale pour la création de requêtes. Par exemple, une instruction conçue pour conclure un diagnostic médical nécessite des connaissances médicales
Processus itératif et évaluation de la qualité : la conception d'une instruction parfaite implique souvent des essais et du peaufinage. Il est essentiel de disposer d'une méthode d'évaluation de la qualité des résultats produits qui va au-delà du jugement subjectif.

Limites de taille des instructions

Il est crucial de reconnaître l'importance de la contrainte de taille d'un grand modèle de langage, car celle-ci influe directement sur la quantité et la nature des informations que nous pouvons fournir. Les modèles de langage ne sont pas conçus pour traiter un volume infini de données en une fois, Au lieu de cela, il existe une restriction inhérente à la taille de l'instruction que vous pouvez construire et saisir. Cette limitation a des implications profondes sur la façon de formuler et d’utiliser efficacement les instructions.

Un grand modèle de langage a une capacité de jetons maximale englobant à la fois l'instruction et la réponse suivante. Par conséquent, des instructions plus longues pourraient écourter la longueur de la réponse générée. Il est important de créer des instructions concises, qui transmettent toutefois les informations nécessaires.

Dans les scénarios pratiques, vous devez adopter le rôle d'un éditeur, en sélectionnant soigneusement les détails pertinents pour une tâche. Ce processus reflète votre approche de l'écriture d'un article en limitant le nombre de mots ou de pages qu'il contient. Dans de tels cas, vous ne pouvez pas simplement inclure des faits aléatoires. Au lieu de cela, vous devez choisir et organiser soigneusement les informations qui concernent directement le sujet.

La conception d'instructions est une compétence humaine qui permet de garantir la précision et la structure du contenu. Les outils peuvent aider le rédacteur à être plus productif, mais ils ne remplacent pas ce rôle. L'IA générative nécessite de faire appel à un écrivain, un chercheur et un éditeur compétents et expérimentés. Pour être un bon concepteur d'instructions, vous devez disposer des mêmes compétences que celles d'un bon rédacteur de contenu.

Les techniques de conception et d'ingénierie d'instruction générative

La décision du type d'instructions que vous souhaitez utiliser dans une situation donnée vous appartient. Par exemple, si vous écrivez un long article, l'instruction en chaîne de pensée est utile pour générer des informations une section à la fois. La liste suivante n’est pas exhaustive de toutes les stratégies de conception d’instruction, mais présente quelques-uns des modèles les plus utilisés aujourd’hui.

Modèle Persona

Le modèle Persona est une technique qui ordonne à l'IA de fonctionner à partir d'un point de vue spécifique, comme l'adoption d'un rôle professionnel ou l'incorporation d'un caractère fictif. Cette approche permet au modèle de générer des réponses alignées sur les responsabilités associées à cette personne particulière. Par exemple, vous pouvez demander à l'IA de se charger du rôle d'un expert en cybersécurité pour l'évaluation du code. Cette stratégie devient particulièrement utile lorsque vous recherchez des conseils en l'absence de spécifications précises pour le résultat souhaité. Par exemple :

Utilisateur : Imaginez que vous êtes un historien confirmé spécialiste de la Guerre du Péloponnèse. En vous basant sur cette perspective, expliquez les événements et les facteurs crucials qui ont conduit au déclenchement de la guerre.

Dans ce scénario, il est prévu que l'IA fournisse un examen complet de la Guerre du Péloponnèse en se concentrant sur ses causes, comme on peut s'y attendre de la part d'un historien. Notez le style d'écriture et le vocabulaire très pédagogiques utilisés dans l'instruction. La réponse correspond à ce style. En d’autres termes, votre style d’écriture dans l’instruction détermine le style du contenu généré. Cela est vrai pour toutes les approches d'instruction, alors adaptez l'écriture de vos instructions au contexte dans lequel vous publiez.

Du point de vue du responsable marketing, vous pouvez utiliser le modèle Persona pour vous faire une place dans l’esprit de vos clients. Sans révéler la moindre information confidentielle, vous pouvez demander à l'IA de supposer la personnalité de votre public cible, puis lui poser des questions. L'IA répondra du point de vue théorique du client. Cette approche n'est, bien évidemment, pas infaillible et ne remplace en aucun cas les bonnes recherches sur les utilisateurs et les données marketing. Cependant, cela peut vous aider à écrire différentes formes de texte et à générer des idées.

Nouveau modèle d'informations

L'IA a ses limites, et il est très important de ne pas avoir accès aux informations au-delà du moment où ses données d'entraînement s'arrêtent. L'IA ne peut pas inclure les événements récents ni prendre en compte les mises à jour qui ont eu lieu après son entraînement. Cependant, vous pouvez intégrer de nouvelles informations dans les connaissances du modèle en structurant efficacement vos instructions. Prenons par exemple l’interaction suivante :

L'utilisateur : pouvez-vous expliquer ce qu'est la conscience phénoménale ?

IA : la conscience phénoménale fait référence à l'expérience objective et première de la prise de conscience de quelque chose. En d'autres termes, il s'agit de la « sensation brute » de nos sentiments et de nos expériences, comme le goût du chocolat, la couleur rouge, la satisfaction ou la peine.

En fournissant un peu plus de contexte à l'instruction, vous pouvez créer une explication plus pertinente :

Utilisateur : décrit le concept de la conscience phénoménale en lien avec le débat sur la capacité des ordinateurs à être conscients.

IA : la conscience phénoménale joue un rôle central dans le débat en cours sur la capacité des ordinateurs à accomplir la vraie conscience. Ce débat tourne autour de l'idée que, si les ordinateurs peuvent simuler certains aspects de l'intelligence, ils peuvent être incapables de comprendre la conscience de la même manière que les humains.

Les ordinateurs peuvent simuler diverses fonctions cognitives et même effectuer des tâches qui semblent intelligentes. Reste à savoir si cette simulation correspond à une véritable expérience consciente. Les sceptiques affirment que même si un ordinateur se comporte d'une manière qui semble consciente, il peut ne pas profiter de l'expérience interne et qualitative dont bénéficient les humains.

Ajustement du modèle de questions

L'IA peut vous aider à améliorer la qualité de vos requêtes. Par exemple, si vous posez une question, l'IA peut en proposer une qui serait plus précise et susceptible de produire des résultats plus précis.

Cette capacité est encapsulée dans le modèle de questions d'affinage. Elle s'avère particulièrement utile lorsque vous n'avez pas d'expertise dans un domaine particulier ou que vous n'êtes pas sûr de la meilleure façon de formuler votre question. Prenons cet exemple d'instruction :

Utilisateur : Chaque fois que je vous interroge sur la science des données, proposez une question plus axée sur les aspects spécifiques de l'analyse statistique. Demandez également si je souhaite poursuivre avec la question précise.

Dans ce scénario, l'IA devrait améliorer vos requêtes générales en matière de science des données en les réduisant à des questions qui portent spécifiquement sur les aspects de l'analyse statistique. L'IA demande ensuite si l'utilisateur souhaite poursuivre avec la question précise.

Modèle de vérificateur cognitif

Le modèle du vérificateur cognitif implique une méthode qui consiste à décomposer des questions complexes en sous-questions plus petites, plus faciles à gérer. Les réponses à ces petits éléments sont ensuite intégrées pour générer une réponse complète à la question principale. Cette approche devient particulièrement utile lorsque les questions de départ sont trop générales ou lorsqu'il est nécessaire de clarifier les réponses pour obtenir une réponse exhaustive. Considérez cet exemple :

Utilisateur : si je pose une question liée au cadre d'inférence de la recherche pour la résolution de problèmes, veuillez la diviser en trois questions plus petites qui amélioreront la précision de votre réponse. Une fois les réponses à ces sous-questions obtenues, combinez-les pour présenter la réponse finale.

Dans ce scénario, l'IA analyse la question complexe concernant le cadre d'inférence de recherche en trois sous-questions. Une fois qu’il a rassemblé les réponses à chaque sous-questions, il les rassemble pour produire une réponse complète et précise.

Ce schéma implique la génération de multiples requêtes, aboutissant à une réponse finale plus précise. Le processus implique à la fois la vérification des informations et leur consolidation pour garantir un résultat robuste et complet. Elle s'apparente à la méthode d'apprentissage et d'instruction « tout en partie » de la stratégie éducation.

Instruction en chaîne de pensée

Dans un article de recherche récent intitulé Chain-of-Thought Prompting Elicits Reasoning in Small Language Models, Jason Wei et son équipe ont cherché à imiter les capacités de raisonnement au sein d'un grand modèle de langage. En abandonnant la pratique conventionnelle des instructions directes, l’équipe utilise une série d’instructions interconnectées qui forment ce qu’elle appelle une chaîne de pensée.

Par exemple, imaginons l'impact potentiel de l'intelligence artificielle sur le marché du travail :

Utilisateur : Pourriez-vous expliquer brièvement ce qu'est l'intelligence artificielle ?

IA : l'intelligence artificielle est une technologie qui implique l'utilisation de machines qui imitent des comportements humains intelligents. Cette conception permet aux machines de penser et d'apprendre comme des humains, et de réaliser des tâches telles que la traduction de langues, la prise de décisions et la résolution de problèmes.

Utilisateur : Quelles sont les influences de l'IA sur le marché actuel de l'emploi ?

IA : l'IA influence la création de nouvelles tâches et modifie la nature de celles qui existent déjà. Elle automatise les tâches routinières, entraînant la suppression de certaines tâches dans des secteurs particuliers. À l'inverse, les professionnels de l'IA, les analystes de données et les ingénieurs en apprentissage automatique sont de plus en plus sollicités. En outre, l'IA peut améliorer les rôles humains, ce qui permet aux individus d'accomplir des tâches avec plus d'efficacité et de précision.

L'approche de Linux en chaîne de pensée implique une séquence d'instructions connectées qui établissent une « conversation » avec le modèle de langage. Cette approche permet d'orienter le modèle vers des réponses plus précises et plus contextuelles, ce qui favorise la progression des idées et du raisonnement. Il peut également entraîner l'IA à imiter votre style d'écriture spécifique, à condition que vos requêtes soient rédigées sur le même ton, style, posture et structure que votre réponse idéale.

La chaîne de pensée est particulièrement efficace pour la rédaction d’articles. Si vous avez déjà présenté un article, un essai ou un argument, vous pouvez structurer votre chaîne d'instructions le long de ce flux. Puisque l'IA a une limite de caractères qu'elle peut vous fournir, la chaîne de pensée peut vous aider à demander des informations pour une section de votre élément à la fois, plutôt que de demander à l'IA de générer un article entier en une fois. Vous gardez ainsi un meilleur contrôle sur les informations et obtenez des réponses plus précises et détaillées. Vous contrôlez la structure, tandis que l'IA génère des fragments de l'ensemble, une instruction à la fois, sous votre conduite.

Modèle de l'assistant de recherche

Dans cette instruction, vous demandez de l’aide pour trouver les sources d’un projet de recherche. En réponse, l'IA recommande trois articles de recherche pertinents. Il comporte les titres, les auteurs et les détails de publication des articles, ainsi qu'une brève description de leur contenu. L'IA souligne également l'importance de référence croisée et d'évaluation de la crédibilité des sources. La conception de l'instruction exploite efficacement les capacités de l'IA pour faciliter la recherche en suggérant des sources de bonne réputation en vue d'un examen approfondi. Par exemple :

Utilisateur : je travaille sur un projet de recherche concernant les effets du changement climatique sur les écosystèmes côtières. Pouvez-vous m'aider à trouver des sources utiles pour mon étude ?

IA : Bien sûr ! Pour orienter vos recherches sur les effets du changement climatique sur les écosystèmes côtières, je vous recommande de commencer par les sources suivantes :

**Smith, JR, et al. (2020). « Impacts of Sea-Level Rise and Changement climatique sur les écosystèmes côtières: A Review », Journal of côtières Research.

**Garcia, S., et al. (2019). « Climate Change-Induced Shifts in côtière Ecosystems: A Global Assessment », « Science et politique de l'environnement »

**Johnson, L., et al. (2018), « Vulnerability of côtière Ecosystems to climatique Change: Implications for Adaptation Planning », Écologie et société. »

Ces articles fournissent des informations précieuses sur les effets du changement climatique sur les écosystèmes littoraux. N'oubliez pas de comparer ces sources et d'évaluer leur crédibilité pour votre étude. Si vous souhaitez d'autres sources ou informations plus spécifiques, n'hésitez pas à !

Cette instruction vous aide surtout à éviter l'une des principales faiblesses de l'IA et des grands modèles de langage, à savoir la désinformation. En interrogeant les sources plutôt que le contenu, l'IA peut réduire considérablement le temps de recherche pour votre projet. Vous devez tout de même évaluer les sources et en extraire les informations dont vous avez besoin.

Amélioration de l'instruction du générateur de citations

De la même manière, lorsque vous demandez à l'IA d'écrire du contenu, vous pouvez lui demander de citer ses sources et de fournir une section de références. Indiquez le style de citation que vous préférez et l’interface renvoie ce format. Prenons par exemple cet exemple abrégé :

Utilisateur : explique le concept de l’enchevêtrement quantique. Dans votre réponse, incluez des citations de l'APA entre parenthèses dans le texte, ainsi qu'une section pour les références de l'APA.

IA : l'enchevêtrement quantique est un phénomène fondamental de la mécanique quantique, où deux partitions ou plus s'interconnectent, de telle sorte que leurs propriétés, telles que le spin ou la polarisation, sont mises en corrélation quelle que soit leur distance (Griffiths, 2018). Cette connexion persiste même lorsque les parts sont séparées par de grandes distances, suggérant qu'il existe une influence instantanée entre elles, ce qui remet en question notre compréhension classique de la causalité (Einstone, Podolsky et ROsen, 1935).

[...]

References:

A.Einstone, B. Podolsky, N. et ROSA (1935), La description quantique de la réalité physique peut-elle être considérée comme complète ? Physical Review, 47(10), 777-780,

Griffiths, PDG (2018), Introduction to Quantum Mecanics (3e éd.). Cloud University Press,

Comme toujours, vous devrez jouer le rôle de l'éditeur et vérifier l'exactitude des informations. Examinez chacune des sources fournies par l'IA et assurez-vous que les affirmations de l'IA à propos des arguments d'une source sont vraies. Vérifiez également que la mise en forme APA est correcte pour la section des références.

En fonction du domaine dans lequel vous effectuez la recherche, vous serez probablement en mesure de reconnaître rapidement certains des grands noms dans la section des références, ce qui est un moyen abrégé de vérifier l'exactitude du fichier. Par exemple, Alain Aspect a reçu le prix Nobel de physique en 2022 pour son travail long de plusieurs décennies sur l'enchevêtrement quantique. Aussi, lorsque son nom figure en tête des références à une instruction sur l'enchevêtrement quantique, c'est un signe prometteur que la source utilisée pour l'IA est fiable.

Ce type d'instruction est un autre exemple de l'importance cruciale des auteurs, des éditeurs et des chercheurs experts dans un domaine donné dans le processus de rédaction du contenu. L'IA peut accélérer le processus, mais elle ne remplace pas le rédacteur humain.

Demander à l'IA de citer ses sources est particulièrement puissant lorsqu'il est associé à un système de requête en chaîne de pensée. Pour combiner les deux, suivez la stratégie d'invitation à la chaîne de pensée, comme expliqué ci-dessus. Avant d'envoyer chaque instruction de la chaîne, demandez à l'IA de citer ses sources dans le format requis. Soumettez ensuite la requête.

Modèle d'apprentissage en quelques coups

Il s'agit d'une méthode puissante qui permet d'entraîner des modèles d'IA à adhérer à des schémas spécifiques ou à exécuter des tâches. L'idée fondamentale consiste à fournir au modèle une poignée d'exemples avant de poser la question réelle. Cette pratique aide à définir le comportement souhaité et à orienter les réponses ultérieures du modèle.

Imaginez que vous souhaitiez créer un message marketing succinct et captivant pour un nouveau dispositif technologique :

Utilisateur : Voici quelques exemples de messages marketing axés sur les technologies : « Expérimentez la musique comme jamais avec nos casques sans fil de pointe. » « Capturez le monde en 4K grâce à notre caméra d'action d'une efficacité extrême. » À l'aide de ces exemples, créez un message marketing pour notre montre connectée novatrice basée sur l'IA.

IA : améliorez votre mode de vie avec notre montre connectée basée sur l'IA, votre partenaire du bien-être, de la connectivité et de l'efficacité.

L'aspect remarquable de l'apprentissage en quelques coups est qu'il s'appuie sur des démonstrations plutôt que sur des instructions procédurales détaillées. Cette fonctionnalité le rend adaptable pour diverses applications. Cette technique va au-delà de la correspondance des entrées-sorties de base. Elle permet au modèle d'apprendre à gérer les étapes intermédiaires pour atteindre un objectif particulier. Cette méthode est idéale pour aider les rédacteurs marketing à développer des itérations de textes abrégés, tels que des titres, des corps de texte abrégés, des sujets de texte, des publicités sur les réseaux sociaux, des appels à l'action (CTA), etc.

Maintenant que vous connaissez ces modèles d'instruction particulièrement utiles, essayez-les dans le grand modèle de langage de votre choix. J'ai utilisé ChatGPT dans mes exemples.

L'intelligence artificielle (IA) permet de nouvelles découvertes et expériences dans de nombreux secteurs et industries. Si vous êtes prêt à en savoir plus, découvrez comment utiliser les plateformes Red Hat pour créer, déployer, surveiller et utiliser des modèles et des applications d'IA, accélérés grâce à la vitesse, à la confiance et à la transparence de la communauté Open Source.

En savoir plus sur la solution d'IA de Red Hat