Was ist InstructLab?

InstructLab vereinfacht die Anpassung von LLMs (Large Language Models) mit privaten Daten. 

LLMs dienen wie Chatbots und Programmierassistenten als Basis für generative KI (gen KI). Diese LLMs können proprietär sein (wie die GPT-Modelle von OpenAI und die Claude-Modelle von Anthropic) oder unterschiedliche Offenheitsgrade in Bezug auf Pretraining-Daten und Nutzungsbeschränkungen bieten (wie die Llama-Modelle von Meta, die Mistral-Modelle von Mistral AI und die Granite-Modelle von IBM).

KI-Nutzende müssen häufig ein vorab trainiertes LLM an einen bestimmten Geschäftszweck anpassen. Die Möglichkeiten zur Änderung eines LLM sind jedoch begrenzt:

• Das Fine Tuning eines LLM für ein bestimmtes Wissensgebiet oder eine bestimmte Kompetenz erfordert in der Regel teures, ressourcenintensives Training.
• Es gibt keine Möglichkeit, Verbesserungen in das LLM einzubringen, und somit auch keine Möglichkeit für Modelle zur kontinuierlichen Verbesserung durch Beiträge von Nutzenden.
• LLM-Optimierungen erfordern in der Regel große Mengen an von Menschen erstellten Daten, deren Beschaffung zeitaufwendig und teuer sein kann.

InstructLab verfolgt einen Ansatz, der diese Beschränkungen überwindet. Es kann ein LLM mit weitaus weniger vom Menschen generierten Daten und weitaus weniger Rechenressourcen verbessern, als normalerweise für das Retraining eines Modells erforderlich sind.

InstructLab ist benannt nach und basiert auf der Arbeit von IBM Research an „Large-scale Alignment for chatBots“, abgekürzt LAB. Das LAB-Verfahren wird in einem Forschungspapier von Mitarbeitenden des MIT-IBM Watson AI Lab und IBM Research von 2024 beschrieben.

InstructLab ist nicht modellspezifisch. Es kann einem LLM Ihrer Wahl zusätzliche Kompetenzen und Kenntnisse vermitteln. Dieser „Kompetenz- und Wissensbaum“ wird kontinuierlich durch Beiträge verbessert und kann zur Unterstützung regelmäßiger Weiterentwicklungen eines verbesserten LLM eingesetzt werden. 

Das InstructLab-Projekt legt Wert auf schnelle Iteration und hat regelmäßige Retrainings der Modelle zum Ziel. Unternehmen können die InstructLab-Tools zum Modellabgleich auch nutzen, um ihre eigenen privaten LLMs mit ihren Kompetenzen und ihrem Fachwissen zu trainieren.

Wie Sie KI im Unternehmen einsetzen

Das LAB-Verfahren besteht aus 3 Teilen:

• Taxonomiegesteuerte Datenkuration: Die Taxonomie ist ein Satz verschiedener Trainingsdaten, die von Menschen als Beispiele für neues Wissen und Kompetenzen für das Modell kuratiert wurden.
• Generierung synthetischer Daten in großem Umfang: Das Modell wird dann verwendet, um neue Beispiele auf der Grundlage der Trainingsdaten zu erzeugen. Da die Qualität synthetischer Daten variieren kann, fügt das LAB-Verfahren einen automatischen Schritt zur Verfeinerung der Beispielantworten hinzu. So wird sichergestellt, dass sie fundiert und sicher sind.
• Iterative, umfangreiche Abstimmung der Ausrichtung: Zuletzt wird das Modell auf der Grundlage der synthetischen Daten neu trainiert. Das LAB-Verfahren umfasst 2 Tuning-Phasen: Wissenstuning, gefolgt von Kompetenztuning.

Der Datensatz wächst mit den Beiträgen an Kompetenzen und Wissen, wobei jede Ergänzung die Qualität des Modells verbessert, das optimiert wird. 

Vergleichen wir InstructLab mit anderen Möglichkeiten zur Anpassung eines LLM an Ihre domainspezifischen Use Cases.

Pretraining

Das Pretraining stellt die tiefgreifendste Ebene der Modellanpassung dar und ermöglicht es Unternehmen, zu kuratieren, welche Trainingsdaten das grundlegende Verständnis der Modelle beeinflussen. 

Hierbei wird ein LLM so trainiert, dass es das nächste Token anhand von Billionen von Token ungekennzeichneter Daten vorhersagt. Dies ist sehr teuer, erfordert manchmal Tausende von GPUs und dauert Monate. Damit ist das Pretraining eines hochqualifizierten LLM nur für Unternehmen mit erheblichen Ressourcen möglich.

Ausrichtungsabstimmung

Nach dem Pretraining erfolgt eine Ausrichtungsabstimmung der LLMs, um die Antworten des Modells so genau und nützlich wie möglich zu machen. Der erste Schritt ist dabei in der Regel das Instruction Tuning, bei dem ein Modell direkt auf bestimmte Aufgaben trainiert wird. 

Danach folgt das Preference Tuning, das auch Verstärkungslernen durch menschliches Feedback (Reinforcement Learning from Human Feedback, RLHF) beinhalten kann. In diesem Schritt testen Menschen das Modell und bewerten seine Ergebnisse durch Bewertung der Präferenz der Modellantworten. Ein RLHF-Prozess kann mehrere Phasen der Rückmeldung und Verfeinerung umfassen, um ein Modell zu optimieren.

Forschende haben herausgefunden, dass die Menge des Feedbacks in dieser Abstimmungsphase viel kleiner sein kann als der anfängliche Satz an Trainingsdaten. Dabei handelt es sich um Zehntausende menschlicher Einträge im Vergleich zu den Billionen von Token, die für das Pretraining erforderlich sind, und dennoch können verborgene Fähigkeiten des Modells freigesetzt werden.

InstructLab

Das LAB-Verfahren beruht auf der Idee, dass es möglich sein sollte, die Vorteile der Modellausrichtung mit einem noch kleineren Satz von durch Menschen erstellten Daten zu nutzen. Ein KI-Modell kann eine Handvoll menschlicher Beispiele verwenden, um eine große Menge synthetischer Daten zu generieren, diese dann hinsichtlich ihrer Qualität zu verfeinern und diesen qualitativ hochwertigen, synthetischen Datensatz für weitere Abstimmung und Training nutzen. Im Gegensatz zum Instruction Tuning, für das in der Regel tausende Beispiele von menschlichem Feedback benötigt werden, kann LAB ein Modell mit relativ wenigen, von Menschen gelieferten Beispielen erheblich verbessern.

Wie unterscheidet sich InstructLab von RAG (Retrieval-Augmented Generation)?

Die kurze Antwort lautet: InstructLab und RAG (Retrieval-Augmented Generation) lösen unterschiedliche Probleme.

RAG ist eine kosteneffiziente Methode zur Erweiterung eines LLM um domainspezifisches Wissen, das nicht Teil des Pretrainings war. So ermöglicht RAG einem Chatbot präzise Antworten auf Fragen, die sich auf einen bestimmten Bereich oder ein bestimmtes Unternehmen beziehen, ohne dass das Modell dazu neu trainiert werden muss. 

Mit RAG werden Wissensdaten in einer Vektordatenbank gespeichert, dann in Blöcken abgerufen und als Teil von Nutzeranfragen an das Modell gesendet. Dies ist für Nutzende hilfreich, die einem LLM geschützte Daten hinzufügen möchten, ohne die Kontrolle über diese Daten aufzugeben, oder wenn ein LLM zum Zugriff auf aktuelle Informationen benötigt wird. 

Dies ist der Gegensatz zum InstructLab-Verfahren, bei dem die Beiträge der Endnutzenden als Support für die regelmäßige Erstellung einer verbesserten LLM-Version genutzt werden. InstructLab hilft, Wissen zu erweitern und neue Kompetenzen eines LLM zu erschließen.

Es ist möglich, durch die Anwendung der RAG-Technik auf ein mit InstructLab abgestimmtes Modell einen RAG-Prozess noch zu verstärken.

Mehr über RAG erfahren

Mit Red Hat AI InstructLab on IBM Cloud können Sie Beiträge zu einem LLM leisten, ohne dass Sie eine eigene Hardwareinfrastruktur besitzen und betreiben müssen.

Red Hat InstructLab an sich ist ein Open Source-Projekt, das die LLM-Entwicklung vereinfacht und einen kosteneffizienten Ansatz zur Anpassung von Modellen mit weniger Daten und Ressourcen ermöglicht.

IBM Cloud ist eine Cloud-Plattform für Unternehmen, die für äußerst streng regulierte Branchen entwickelt wurde und eine hochresiliente, leistungsfähige, sichere und konforme Cloud bietet.

In Kombination bietet Red Hat AI InstructLab on IBM Cloud eine skalierbare und kosteneffiziente Lösung, um die Anpassung Ihrer LLMs an die spezifischen Use Cases Ihres Unternehmens zu vereinfachen, zu skalieren und zu sichern.

Mehr über Red Hat AI InstructLab on IBM Cloud erfahren