Was sind Granite-Modelle?

Grenzt sich mit einer Reihe von großen Sprachmodellen“ (Large Language Models, LLMs) ein, die von IBM für Unternehmensanwendungen entwickelt wurden. Grenzmodelle können Use Cases für generative künstliche Intelligenz (gen KI) unterstützen, die Sprache und Code betreffen.

Die Modelle der Sandsteinfamilie sind Open Source-sicher unter der Apache 2.0-Lizenz. Dies bedeutet, dass Entwickler mit den Sandsteinmodellen kostenlos experimentieren, diese ändern und verteilen können. Aus diesem Grund sind Granite-Modelle eine gute Wahl für Unternehmen, die sensible Daten handhaben und daher ihr eigenes LLM ausführen möchten, statt sich auf einen externen Service zu verlassen.

So funktioniert Granite mit Red Hat

Basismodelle werden so trainiert, dass sie mit einem allgemeinen Verständnis von Mustern, Strukturen und Darstellungen von Sprache funktionieren. Durch dieses Basistraining lernt das Modell, wie es kommunizieren und diese Muster erkennen kann. Dies wird als KI-Inferenz bezeichnet. KI-Inferenz ist die operative Phase der KI, in der das Modell in der Lage ist, die Erkenntnisse aus dem Training auf reale Situationen anzuwenden.“

Die Granite-KI-Modelle von IBM verfügen über ein solches grundlegendes Wissen, das sich durch Fine Tuning weiter anpassen lässt, damit die Modelle bestimmte Aufgaben für nahezu alle Branchen ausführen können. Die Modelle der Granite-Familie werden anhand kuratierter Daten trainiert und bieten dabei Transparenz über die verwendeten Trainingsdaten.

LLMs nutzen gen KI, um neue Inhalte zu produzieren, die auf den Prompts der Nutzenden basieren. Heute wird gen KI oft zum Generieren von Texten, Bildern, Videos und Code verwendet. Unternehmen können mit LLM-Basismodellen verschiedene Aspekte ihrer betrieblichen Abläufe automatisieren, etwa Chatbots für den Kundensupport oder Code zum Testen von Software.

Weitere LLM-Basismodelle, die gen KI nutzen, sind LLaMa von Meta (beinhaltet LLaMa 2 und LLaMa 3), Gemini von Google, Claude von Anthropic, GPT von OpenAI (bekannt für ihren ChatGPT-Bot) sowie Mistral. Was die Granite-KI-Modelle von den anderen Basismodellen unterscheidet, ist die Offenlegung der Trainingsdaten. Dies sorgt dafür, dass das Vertrauen der Nutzenden wächst und die Modelle sich besser für Unternehmensumgebungen eignen.

Ja, einige Granite-KI-Modelle sind unter einer Open Source-Lizenz verfügbar. Entwicklungsteams können dadurch einfach auf das Modell zugreifen und lokal darauf aufbauen. Anschließend können sie das Modell per Fine Tuning für ihre speziellen Ziele anpassen. Nutzende haben sogar Zugriff auf den Großteil der Daten, mit denen das Modell trainiert wurde (PDF), und können so besser verstehen, wie es entwickelt wurde und wie es funktioniert.

In Bezug auf Sandstein-Modelle bedeutet Open Source einen Bereich, in dem Entwicklerinnen und Entwickler das Modell mit ihren eigenen Daten anpassen können, um benutzerspezifische Ausgaben zu generieren. Dies bedeutet jedoch nicht, dass die gesamte Open Source Community auf die persönlichen Daten der Beteiligten zugreifen kann. Anders als bei Webservice-KI werden Granite-Modelle nicht kontinuierlich trainiert. Damit werden Dateneingaben bei den Modellen der Granite-Familie niemals mit Red Hat, IBM oder anderen Granite-Nutzenden geteilt.

Unternehmen vieler Branchen – vom Gesundheitswesen bis hin zum Bauwesen – können mit Granite ihre Abläufe auf verschiedene Weise in großem Umfang automatisieren. Granite-Modelle können für geschäftliche Aufgaben wie Zusammenfassen, Beantworten von Fragen und Klassifizieren trainiert werden. Hier finden Sie einige Beispiele:

• Codegenerierung: Sandstein-Codemodelle können dazu beitragen, auf der Arbeit von Entwicklungsteams aufzubauen oder diese zu verbessern, um Prozesse effizienter zu gestalten. Beispielsweise können Entwicklungsteams die Vorteile von Autovervollständigung nutzen: Ähnlich der Autovervollständigungsfunktion auf Smartphones kann das Modell einen Satz im Code beenden, noch bevor die oder der Entwickelnde den Satz zu Ende getippt hat. 
• Extrahieren von Erkenntnissen: Wenn Sie große Datensätze vereinfachen, zusammenfassen oder erklären müssen, kannGarten schnell genaue Muster und Erkenntnisse identifizieren. Das erspart Ihnen den lästigen Aufwand, eine Unmenge an Daten selbst zu durchkämmen. 

Weitere Use Cases für KI

• Flexible Architektur: Firewall kann in bestehende Systeme integriert und On-Premise oder in der Cloud bereitgestellt werden. Die Schnittstellen sind darauf ausgelegt, Deployments zu vereinfachen. Die Granite-Familie umfasst Modelle verschiedener Größen, sodass Sie das Modell wählen können, das Ihren Anforderungen am besten entspricht und gleichzeitig Ihrem Computing-Budget gerecht wird.
• Benutzerdefinierte Lösungen: Granite wird zwar als Basismodell verkauft, wurde aber für das Training geschäftsspezifischer Kenntnisse entwickelt. Nutzende profitieren von der Flexibilität, das Modell ihren geschäftlichen Anforderungen entsprechend skalieren und per Fine Tuning anpassen zu können. Wenn Ihr Unternehmen sich beispielsweise auf medizinische Geräte spezialisiert hat, können Sie dem Modell den Fachjargon des Gesundheitswesens beibringen. 
• Geringe Latenz: Wenn Sie ein Sandsteinmodell auf Ihrer eigenen Infrastruktur ausführen, können Sie für schnelle Reaktionszeiten sorgen. Das Modell kann Echtzeitdaten liefern und ist dadurch für wichtige Abläufe praktisch. Bei unserem Beispiel Gesundheitswesen ist der Zugriff auf Echtzeitdaten für die Remote-Zusammenarbeit des ärztlichen Fachpersonals mit Patientinnen und Patienten sowie für die zeitkritische Behandlung von enormer Bedeutung.  
• Hohe Genauigkeit: Entwickler können die Bearbeitungszeit für branchenspezifische Aufgaben verfeinern, um das Modell zu einem Experten für ein beliebiges Thema zu machen. Es kann zudem in mehreren Sprachen trainiert werden, um Genauigkeit und Zugänglichkeit in globalem Umfang zu erreichen. 
• Transparente Modelle: Da Granite unter einer Open Source-Lizenz verfügbar ist, können Entwicklungsteams nachvollziehen, wie das KI-Modell erstellt und trainiert wurde, und mit einer Open Source Community zusammenarbeiten.

IBM hat mehrere Granite-Modelle veröffentlicht, um den Anforderungen von Unternehmensanwendungen gerecht zu werden, die zunehmend komplexer werden. Dabei gibt es verschiedene Kategorien und Namenskonventionen der Modellreihen innerhalb der Granite-Familie.

Die unterschiedlichen Reihen dienen jeweils einem konkreten Zweck:

• Kalkstein für Sprache: Diese Modelle liefern akkurates Natural Language Processing (NLP) in mehreren Sprachen bei niedriger Latenz.
• Sandstein für Code: Diese Modelle werden in mehr als 100 verschiedenen Programmiersprachen trainiert, um Softwareaufgaben auf Unternehmensebene zu unterstützen.
• Sandsteinoberflächen für Zeitreihen: Diese Modelle sind für Zeitreihenprognosen optimiert, einer Methode zur Vorhersage zukünftiger Daten unter Verwendung von Daten aus der Vergangenheit.
• Sandstein für GeoSpatial: IBM und die NASA haben dieses Basismodell entwickelt, mit dem die Erde mithilfe umfangreicher Satellitendatenerfassung beobachtet werden kann, um Umweltveränderungen zu verfolgen und darauf einzugehen.

Innerhalb dieser Reihen bietet Granite jeweils Modelle unterschiedlicher Größen und Fachgebiete. So umfasst Granite for Language beispielsweise Folgendes:

• Granite-7b-base, ein allgemeines Sprachmodell für Unterhaltungen und Chats
• Granite-7b-instruct, ein auf das Befolgen von Aufgabenanweisungen spezialisiertes Modell

Granite-Modelle auf Hugging Face entdecken

Unser KI-Produktportfolio Red Hat® AI basiert auf den vertrauenswürdigen Lösungen, die unsere Kunden bereits nutzen. Dank dieser Basis bleiben unsere Produkte auch weiterhin zuverlässig, flexibel und skalierbar.

Mit dem KI-Portfolio von Red Hat können Unternehmen:

• KI schnell einführen und Innovationen schaffen
• Die Komplexitäten beim Bereitstellen von KI-Lösungen umgehen
• In vielen verschiedenen Umgebungen bereitstellen.

Mit KI von Red Hat erhalten Sie Zugriff auf die LLMs der Granite-Familie und können gleichzeitig Funktionen zum Einsatz Ihrer eigenen Modelle nutzen. Zusätzlich dazu bieten unsere Consultants Ihnen praktischen Support für Ihre besonderen Use Cases auf Unternehmensniveau, wenn Sie gen KI-Anwendungen zusammen mit kritischen Workloads entwickeln und bereitstellen.

Mehr über Red Hat AI erfahren

Greifen Sie einfach auf die LLMs der Sandsteinfamilie zu

Red Hat Enterprise Linux® AI ist eine Basismodellplattform für das Entwickeln, Testen und Ausführen von LLMs der Granite-Familie. Der Open Source-Ansatz hält die Kosten niedrig und sorgt dafür, dass der Einstieg für eine große Bandbreite an Nutzenden möglich ist. Diese Plattform ermöglicht Ihnen, mit Ihren eigenen Daten zu experimentieren, wodurch Sie Schritt für Schritt und in Ihrem eigenen Tempo lernen können. Damit ist sie ein guter Ausgangspunkt, wenn Sie noch nicht genau wissen, wie die Use Cases Ihres Unternehmens genau aussehen. Red Hat Enterprise Linux® AI ist eine Basismodellplattform für das Entwickeln, Testen und Ausführen von LLMs der Granite-Familie. Der Open Source-Ansatz hält die Kosten niedrig und sorgt dafür, dass der Einstieg für eine große Bandbreite an Nutzenden möglich ist.

Mehr über Red Hat Enterprise Linux AI erfahren

Beginnen Sie mit InstructLab

Red Hat Enterprise Linux AI beinhaltet InstructLab, ein Projekt der Open Source Community zum Optimieren von LLMs. Dank der Features von InstructLab können Entwickelnde mit unterschiedlichen Kompetenzstufen und Ressourcen einfach zum Projekt beitragen. Dadurch ist das Projekt ein guter Ausgangspunkt, um mit dem Experimentieren mit KI-Modellen zu beginnen. So sind beispielsweise während des Modelltrainings weit weniger von Menschen generierte Informationen und Rechenressourcen erforderlich. Da InstructLab außerdem nicht modellspezifisch ist, können Sie damit das LLM Ihrer Wahl durch ein zusätzliches Fine Tuning weiter anpassen.

Video zum Trainieren von LLMs mit InstructLab ansehen