Skalierbares und kostengünstiges Fine Tuning für LLMs

Bei universellen Use Cases für KI genügt häufig die Fähigkeit eines LLMs (Large Language Model), Muster und Zusammenhänge in einer breiten Palette von Daten zu erkennen. Möchte ein Unternehmen allerdings einen Wettbewerbsvorteil erzielen, muss es sich das eigene spezielle Domain-Fachwissen zunutze machen – sprich, sein geheimes Erfolgsrezept. Unternehmen sind domainspezifisch und können nur mit kundenspezifischen LLMs ihr vollständiges Potenzial hinsichtlich Taxonomie, Kompetenzen und Wissen entfalten.

Es stellt sich also die Frage: Wie können Sie ein universelles LLM an jeweils spezielle Use Cases, Wissensdomains, Fachjargons, Kunden-Inputs und so weiter anpassen, um einen Wettbewerbsvorteil zu erzielen? Und wie können Sie das kostengünstig umsetzen? Im Idealfall beginnen Sie klein, machen schnell Fortschritte und lassen ihr Unternehmen kontinuierlich davon profitieren.

Hierbei führen mehrere Wege zum Ziel, wie etwa Prompt Tuning und Retrival Augemented Generation (RAG). Um allerdings über die Grenzen dieser Techniken hinauszuwachsen, müssen wir auch Fine Tuning in Betracht ziehen. Das ist der Prozess, bei dem ein vortrainiertes Modell anhand eines spezifischen Datensatzes oder einer spezifischen Aufgabe angepasst wird, um seine Performance für eine bestimmte Anwendung zu verbessern.

Allerdings gibt es bei Fine Tuning und LLM-Optimierung unter anderem die folgenden Herausforderungen:

• Das Fine Tuning eines LLMs für einen spezifischen Wissensbereich erfordert gewöhnlich teures, ressourcenintensives Training.
• LLM-Optimierungen verlangen normalerweise große Mengen kuratierter, von Menschen generierter Daten, deren Beschaffung potenziell zeit- und kostenaufwendig ist. Zusätzlich gibt es bei diesen Daten möglicherweise noch Sicherheits- und datenschutzrechtliche Bedenken.
• Fine Tuning erfordert Data Scientists, die zunehmend teuer und schwer zu finden sind.

Wie kann Red Hat AI helfen?

Red Hat AI beschleunigt die Einführung von KI in Unternehmen durch kleine, speziell entwickelte Modelle, effiziente Anpassungstechniken und die Flexibilität für ortsunabhängige Entwicklung und Bereitstellung. Das Portfolio von Red Hat AI besteht aus Red Hat Enterprise Linux AI (RHEL AI), Red Hat OpenShift AI, Beschleunigern und Services, die die Kunden mit einer umfassenden Palette von Funktionen ausstatten.

Mit RHEL AI können Sie generative KI-Basismodelle (gen KI) entwickeln, testen und ausführen. Dazu enthält es eine Version von InstructLab, ein communitybasiertes Projekt, das Entwicklungsteams das Experimentieren mit den Granite LLMs von IBM erleichtert.

InstructLab

InstructLab (LAB) basiert auf der Arbeit von IBM Research an Large-scale Alignment for chatBots. Das LAB-Verfahren besteht aus 3 Phasen:

• Datenkuration: Das ist ein kollaborativer Ansatz für Fachexpertinnen und -experten ohne Training oder Erfahrung im Bereich Data Science. Beim LAB-Verfahren können diese Fachkräfte – die keine Data Scientists sind – eine kuratierte Taxonomie domainspezifischen Wissens und ebensolcher Fähigkeiten beitragen.
• Generierung synthetischer Daten in großem Umfang: Es wird ein Modell verwendet, um auf der Basis der kuratierten Daten neue Beispiele zu erzeugen. Diese Nutzung synthetischer Daten stellt eine wertvolle Methode dar, ein Modell zu beeinflussen und das für ein Modell verfügbare Domainwissen zu erweitern. Diese Daten an sich sind ebenfalls eine wertvolle Ressource und ihre automatische Generierung ist wirtschaftlich, sicherer und kommt ohne jegliche personenbezogene Daten (PII) aus.
• Iteratives Tuning in großem Umfang: Zuletzt wird das Modell auf der Basis der generierten synthetischen Daten neu trainiert. Beim LAB-Verfahren erfolgt das Tuning in 2 Unterphasen: Wissens-Tuning, gefolgt von Kompetenz-Tuning.

Das Modell bewahrt beim LAB-Verfahren seine ursprüngliche generative Leistungsfähigkeit und Genauigkeit vom anfänglichen LLM-Training und erlangt gleichzeitig neue Kompetenzen.

Klein anfangen und nach Bedarf skalieren

Red Hat OpenShift AI bietet eine Plattform, auf der Sie das LAB-Verfahren in Unternehmensumgebungen ausführen können. OpenShift AI ist eine Open Source-KI-Plattform, mit der Sie den Lifecycle von KI-Modellen und KI-gestützten Anwendungen verwalten können. Sie bietet Services zum Entwickeln von Modellen und Automatisieren von KI-Prozessen wie Feature Pipelines, Modelltraining und -Tuning. Außerdem gibt es Standardservices zum Nachverfolgen von Experimenten, Versionieren von Modellen und generellen Monitoring. OpenShift AI nutzt und unterstützt zahlreiche beliebte Open Source-Projekte. Für das LAB-Verfahren nutzen wir:

• Data Science Pipelines (DSP): Ein auf Kubeflow Pipelines basierender Service zum Entwickeln und Bereitstellen portierbarer und skalierbarer KI-Workflows
• Kubeflow Training Operator (KFTO): Ein Operator für Fine Tuning und skalierbares, verteiltes Modelltraining 

Red Hat hat das LAB-Verfahren mithilfe von DSP und KFTO automatisiert, um die Skalierbarkeit, Effizienz und Auditierbarkeit des gesamten Prozesses zu steigern. 

Mit DSP können wir das Fine Tuning im LAB-Verfahren mithilfe eines DAGs (Directed Acyclic Graph) konfigurieren und so den Prozess visuell darstellen. Die unterschiedlichen Phasen und der Ausführungsstatus werden benutzerfreundlich dargestellt und sind so für die Stakeholder gut verständlich. AI Engineers können den Prozessfortschritt des LAB-Verfahrens am Dashboard von OpenShift AI überwachen und die verschiedenen Ergebnisse ansehen – einschließlich Metriken und dem optimierten Modell an sich. Diese werden automatisch versioniert und nachverfolgt, sodass AI Engineers und Data Scientists die Veränderungen der Modell-Performance vergleichen können, während sie iterieren und Parameter und Ressourcen modifizieren. 

Durch die Integration mit KFTO und DSP können Data Scientists und MLOps-Teams (Machine Learning Operations) die Leistungsfähigkeit ihrer bestehenden OpenShift Cluster kostengünstig und skalierbar nutzen. Unternehmen können, basierend auf ihrer Investitionsbereitschaft, Ressourcenquota und Anzahl der GPU-fähigen Openshift-Workerknoten konfigurieren, um die Trainingsphase auszuführen. KFTO verwaltet für die Nutzenden die Skalierbarkeit und effiziente Verwendung dieser Ressourcen. OpenShift AI unterstützt außerdem Fachexpertenteams, Data Scientists und AI Engineers bei der Zusammenarbeit durch eine speziell an sie angepasste Benutzeroberfläche.

Erfahren Sie mehr über DSP Data Science Pipelines auf OpenShift und steigen Sie tiefer in das Thema „Skalierbares Fine Tuning“ ein, indem Sie Fine Tuning von LLMs mit dem Kubeflow Training Operator im Red Hat Developer Blog lesen.