Was sind Basismodelle für KI?

Ein Basismodell ist ein Machine Learning-Modell (ML), das für das Ausführen verschiedener Aufgaben trainiert ist. 

Bis vor Kurzem waren Systeme der künstlichen Intelligenz (KI) spezialisierte Tools. Das heißt, ein ML-Modell wurde für eine bestimmte Anwendung oder einen einzigen Use Case trainiert. Der Begriff Basismodell (auch als „Foundation Model“ bekannt) kam auf, als Expertenteams 2 Trends auf dem Gebiet des maschinellen Lernens beobachteten:

1. Eine kleine Anzahl von Deep Learning-Architekturen wurde eingesetzt, um Ergebnisse für eine Vielzahl von Aufgaben zu erzielen.
2. Aus einem KI-Modell können neue Konzepte hervorgehen, die ursprünglich beim Training nicht vorgesehen waren. 

Basismodelle, wie etwa die Granite-Modelle von IBM, wurden so programmiert, dass sie mit einem allgemeinen kontextuellen Verständnis von Patterns, Strukturen und Abbildungen funktionieren. Dieses grundlegende Verständnis für die Kommunikation und das Erkennen von Mustern schafft eine Wissensbasis, die weiter modifiziert oder verfeinert werden kann, um bereichsspezifische Aufgaben für nahezu jede Branche durchzuführen.

Mehr über Red Hat AI erfahren

Zwei entscheidende Merkmale, die das Funktionieren von Basismodellen ermöglichen, sind Transfer Learning und Skalierung. Transfer Learning bezieht sich auf die Fähigkeit eines Modells, Informationen über eine Situation auf eine andere anzuwenden und auf seinem internen „Wissen“ aufzubauen. 

 Skalierung bezieht sich auf die Hardware, insbesondere auf die GPUs (Graphics Processing Units), die es dem Modell ermöglichen, mehrere Berechnungen gleichzeitig durchzuführen, was auch als Parallelverarbeitung bezeichnet wird. GPUs sind für das Trainieren und Bereitstellen von Deep Learning-Modellen, einschließlich Basismodellen, von entscheidender Bedeutung, da sie Daten schnell verarbeiten und komplexe statistische Berechnungen durchführen können.

Deep Learning und Basismodelle
Viele Basismodelle, insbesondere solche, die im Natural Language Processing (NLP), beim maschinellen Sehen und in der Audioverarbeitung verwendet werden, werden mit Deep Learning-Techniken trainiert. Deep Learning ist eine Technologie, die vielen (aber nicht sämtlichen) Basismodellen zugrunde liegt und viele Fortschritte auf diesem Gebiet ermöglicht hat. Beim Deep Learning, auch bekannt unter den Begriffen „Deep Neural Learning“ oder „Deep Neural Networking“, lernen Computer, Wissen durch Beobachtung zu erwerben. Sie imitieren also die Art und Weise, wie wir Menschen uns Wissen aneignen. 

Transformer und Basismodelle
Obwohl nicht alle Basismodelle Transformer verwenden, hat sich eine Transformer-Architektur als beliebte Methode zum Erstellen von Basismodellen erwiesen, die Text beinhalten, wie beispielsweise ChatGPT, BERT und DALL-E 2.  Transformer verbessern die Fähigkeiten von ML-Modellen, indem sie kontextuelle Beziehungen und Abhängigkeiten zwischen den Elementen in einer Datenfolge erfassen können. Transformer sind eine Art ANN (Artificial Neural Network, künstliches neuronales Netz) und werden für NLP-Modelle verwendet. Sie werden jedoch in der Regel nicht in ML-Modellen eingesetzt, die ausschließlich Modelle für maschinelles Sehen oder Sprachverarbeitung verwenden.

Nach dem Training eines Basismodells kann dieses auf das aus den umfangreichen Datenbeständen gewonnene Wissen zurückgreifen, um Probleme zu lösen – eine Fähigkeit, die für Unternehmen in vielerlei Hinsicht wertvolle Erkenntnisse und Beiträge liefern kann. Zu den allgemeinen Aufgaben, die ein Basismodell erfüllen kann, gehören:

Natural Language Processing (NLP)
Durch das Erkennen von Kontext, Grammatik und sprachlichen Strukturen kann ein in NLP geschultes Basismodell Informationen aus den Daten, mit denen es trainiert wurde, generieren und extrahieren. Ein weiteres Fine Tuning eines NLP-Modells durch Training, um Text mit einer Stimmung (positiv, negativ, neutral) zu assoziieren, kann für Unternehmen nützlich sein, die schriftliche Nachrichten wie Kundenfeedback, Online-Bewertungen oder Beiträge in sozialen Medien analysieren möchten. NLP ist ein weit gefasster Bereich, der die Entwicklung und Anwendung von Large Language Models (LLM) beinhaltet.

Maschinelles Sehen
Kann das Modell grundlegende Formen und Merkmale erkennen, kann es beginnen, Muster zu identifizieren. Das weitere Fine Tuning eines Modells zum maschinellen Sehen kann zu automatisierter Inhaltsmoderation, Gesichtserkennung und Bildklassifizierung führen. Modelle können auch neue Bilder auf der Basis erlernter Muster erzeugen. 

Audio-/Sprachverarbeitung
Kann ein Modell phonetische Elemente erkennen, kann es unsere Stimmen deuten. Dies kann zu mehr Effizienz und Inklusion in der Kommunikation führen. Virtuelle Assistenten, mehrsprachige Unterstützung, Sprachbefehle und Funktionen wie Transkription fördern Barrierefreiheit und Produktivität. 

Mit zusätzlichem Fine Tuning können Unternehmen weitere spezialisierte maschinelle Lernsysteme entwickeln, um branchenspezifische Anforderungen zu erfüllen. Dazu gehören Betrugserkennung für Finanzinstitute, Gensequenzierung für das Gesundheitswesen, Chatbots für den Kundenservice und vieles mehr.

Basismodelle bieten Zugang und ein Niveau an KI, das viele Unternehmen mit den eigenen Ressourcen nicht aus eigener Kraft erreichen können. Durch den Einsatz und weiteren Ausbau von Basismodellen können Unternehmen häufige Schwierigkeiten überwinden, wie etwa:

Begrenzter Zugang zu Qualitätsdaten: Basismodelle bieten ein Modell, das auf Daten aufbaut, zu denen die meisten Organisationen keinen Zugang haben.

Performance/Genauigkeit des Modells: Basismodelle bieten eine Genauigkeitsqualität als Grundlage, die eine Organisation erst nach Monaten oder sogar Jahren selbst erreichen kann. 

Wertschöpfung: Das Training eines Machine Learning-Modells kann viel Zeit in Anspruch nehmen und erfordert viele Ressourcen. Basismodelle bieten einen Ausgangspunkt für ein Pre-Training. Anschließend können Unternehmen dann Feinabstimmungen vornehmen, um benutzerdefinierte Ergebnisse zu erzielen. 

Begrenzte Ressourcen: Basismodelle bieten Unternehmen die Möglichkeit, KI/ML zu nutzen, ohne dass sie viel in Data Science-Ressourcen investieren müssen. 

Kostenmanagement: Durch die Verwendung eines Basismodells wird der Bedarf an teurer Hardware, die für das initiale Training erforderlich ist, reduziert. Die Kosten für die Bereitstellung und das Fine Tuning des endgültigen Modells sind zwar immer noch hoch, betragen aber nur einen Bruchteil der Kosten, die für das Training des Basismodells selbst anfallen würden.

Mehr dazu erfahren, wie sich KI für Ihr Unternehmen nutzen lässt

Es gibt zwar viele interessante Anwendungen für Basismodelle, aber besteht auch eine Vielzahl potenzieller Herausforderungen, die zu beachten sind.

Kosten
Basismodelle erfordern erhebliche Ressourcen für Entwicklung, Training und Deployment. Die anfängliche Trainingsphase von Basismodellen erfordert große Mengen an allgemeinen Daten, konsumiert Zehntausende von GPUs und erfordert oft ein Team von ML-Engineers und Data Scientists. 

Mithilfe von Models as a Service (MaaS) können sich Unternehmen das mühsame Trainieren eines Modells von Grund auf ersparen. Für den Einsatz von Modellen in einer Live-Anwendung können sie einen Inferenzserver wie vLLMnutzen. vLLM bietet effiziente Inferenzfunktionen in großem Umfang, mit denen Entwicklungsteams das gesamte Performance-Potenzial ihrer Hardware nutzen können. 

Für besonders große Basismodelle mit Milliarden von Parametern können Techniken wie verteilte Inferenz und llm-d noch mehr Effizienz und Potenzial für Ressourceneinsparungen bieten. 

Interpretierbarkeit
Der Ausdruck „Black Box“ bezieht sich auf den Fall, dass ein KI-Programm eine Aufgabe in seinem neuronalen Netz durchführt und seine Arbeit nicht zeigt. So entsteht eine Situation, in der nicht einmal die Data Scientists und Engineers, die den Algorithmus entwickelt haben, genau erklären können, wie das Modell zu einer bestimmten Ausgabe gelangt ist. Durch den Mangel an Interpretierbarkeit bei Black Box-Modellen kann es zu negativen Auswirkungen kommen, wenn diese für Entscheidungen von großer Tragweite genutzt werden, besonders in Branchen wie Gesundheitswesen, Finanzwesen oder Strafrecht. Dieser Black Box-Effekt kann bei auf neuronalen Netzen basierenden Modell auftreten, nicht nur bei Basismodellen. 

Datenschutz und Sicherheit
LLMs erfordern den Zugang zu einer Vielzahl von Informationen. Manchmal gehören dazu auch Kundendaten oder geschützte Geschäftsdaten. Hier ist besondere Vorsicht geboten, wenn das Modell von Drittanbietern eingesetzt wird oder diese darauf zugreifen.

Mehr über KI-Sicherheit erfahren 

Genauigkeit und Verzerrungen
Wird ein DL-Modell anhand von Daten trainiert, die statistisch verzerrt sind oder keine akkurate Darstellung der Bevölkerung bieten, kann es zu einer fehlerhaften oder verfälschten Ausgabe kommen. Bestehende menschliche Verzerrung wird leider oft auf künstliche Intelligenz übertragen und birgt somit das Risiko diskriminierender Algorithmen und verzerrter Ausgaben. Der Einsatz von KI in Unternehmen zur Verbesserung von Produktivität und Performance nimmt stetig zu. Daher ist es entscheidend, dass Strategien eingesetzt werden, um Verzerrungen zu minimieren. Dies beginnt bereits mit inklusiven Design-Prozessen und einer sorgfältigeren Berücksichtigung repräsentativer Diversität innerhalb der erfassten Daten. 

Unternehmen können die Genauigkeit ihrer Modellausgaben verbessern, indem sie durch Model Context Protocol (MCP) standardisieren, wie Modelle auf externe Daten zugreifen und diese verwenden. Durch einen strukturierten Kommunikationsfluss zwischen dem Modell und externen Dokumenten (wie internen Unternehmensdokumenten oder Echtzeit-APIs) lassen sich Ergebnisse nachverfolgen, verifizieren und auf Verzerrungen untersuchen. Die Erstellung einer formalisierten Verbindung mit MCP erleichtert auch die Skalierung und Wartung eines RAG-Systems (Retrieval-Augmented Generation) bei Einführung neuer Datenquellen. 

KI mit Red Hat AI operationalisieren

Red Hat^® AI, unser KI-Produktportfolio, basiert auf den vertrauenswürdigen Lösungen, die unsere Kunden bereits nutzen. 

Mit Red Hat AI können Unternehmen:

• KI schnell einführen und Innovationen schaffen
• Die Komplexitäten beim Bereitstellen von KI-Lösungen umgehen
• In vielen verschiedenen Umgebungen bereitstellen

Mehr über Red Hat AI erfahren

Einfacher Zugriff auf LLMs der Granite-Familie von IBM

Wenn Sie bereit dazu sind, Basismodelle auszuprobieren, aber Ihre geschäftlichen Use Cases noch nicht kennen, dann beginnen Sie am besten mit Red Hat^® Enterprise Linux^® AI. Red Hat Enterprise Linux ist eine Plattform für das Ausführen von LLMs in individuellen Serverumgebungen. Die Lösung umfasst Red Hat AI Inference Server, durch den sich schnelle und kostengünstige Inferenzen in der gesamten Hybrid Cloud erzielen lassen, und zwar durch Maximieren des Durchsatzes und Minimieren der Latenz.

Entwicklungsteams erhalten schnellen Zugriff auf eine einzige Server-Umgebung und die erforderlichen LLMs sowie KI-Tools. Sie bietet die notwendigen Funktionen für das Tuning von Modellen sowie für die Entwicklung von gen KI-Anwendungen.

Red Hat Enterprise Linux AI kennenlernen