Was ist erklärbare KI?

Erklärbare KI (XAI) umfasst eine Reihe von Methoden, die während des ML-Lifecycles (Machine Learning) angewendet werden, um KI-Ausgaben für Menschen verständlicher und transparenter zu machen. Im Idealfall beantwortet XAI Fragen wie:

• Warum hat das Modell das getan?
• Warum nicht etwas Anderes?
• Wann war das Modell erfolgreich?
• Wann ist das Modell gescheitert?
• Wann kann ich der Ausgabe des Modells vertrauen?
• Wie kann ich einen Fehler korrigieren?

Erklärbare KI sollte in der Lage sein, ihre Kompetenzen und ihr Verständnis nachzuweisen, durchgeführte Aktionen, laufende Prozesse sowie bevorstehende Schritte zu erläutern und alle relevanten Informationen anzugeben, auf denen die Aktionen basieren. Kurz gesagt: Erklärbare KI fordert KI-Systeme dazu auf, „ihre Arbeitsweise offenzulegen“.

Mehr über Red Hat AI erfahren

Unternehmen verlassen sich bei der Entscheidungsfindung zunehmend auf KI-Systeme. Beispielsweise kann KI im Gesundheitswesen zur Bildanalyse oder für medizinische Diagnosen eingesetzt werden. Im Finanzdienstleistungssektor kann KI zur Genehmigung von Krediten und zur Automatisierung von Investitionen eingesetzt werden.

Diese Entscheidungen haben Auswirkungen auf Personen, Umgebungen und Systeme und können Risiken für diese darstellen. Transparenz und Verantwortlichkeit sind unerlässlich, um Vertrauen zwischen Menschen und KI-Systemen zu schaffen. Gleichzeitig kann mangelndes Verständnis zu Verwirrung, Fehlern und manchmal auch zu rechtlichen Konsequenzen führen.

Durch die Priorisierung von Transparenz und Erklärbarkeit können Sie eine KI entwickeln, die nicht nur technisch fortschrittlich, sondern auch sicher, fair und auf menschliche Werte und Bedürfnisse abgestimmt ist. 

Interpretierbarkeit im Vergleich zu Erklärbarkeit

Im Kontext von XAI werden Erklärbarkeit und Interpretierbarkeit oft synonym verwendet, was zu Verwirrung führen kann. 

Interpretierbarkeit bezeichnet den Grad, zu dem ein Mensch die interne Logik eines Modells verstehen kann. Interpretierbarkeit bezieht sich auf den Zustand eines Modells und existiert auf einem Spektrum. Ein Modell mit hoher Interpretierbarkeit besitzt Features, die von Natur aus verständlich sind – das heißt, auch nicht geschultes Personal kann den Zusammenhang zwischen Eingaben und Ausgaben verstehen. Ein Modell mit geringer Interpretierbarkeit hat eine zu komplexe Funktionsweise, als dass ein Mensch sie verstehen könnte.

Erklärbarkeit beschreibt den Prozess für das Generieren einer Begründung oder Erklärung. Erklärbarkeit wird durch eine Reihe von Techniken (XAI-Techniken) erreicht, die auf ein komplexes Modell angewendet werden, um aufzudecken, wie und warum es eine bestimmte Entscheidung getroffen hat. Wenn die Logik eines Modells zu komplex ist, um sie direkt zu interpretieren, können XAI-Techniken Ihnen helfen, besser zu verstehen, warum sich das Modell so verhalten hat. 

Wenn eine hohe Interpretierbarkeit für ausreichende Transparenz sorgt, ist eine externe Erklärbarkeit im Allgemeinen nicht erforderlich. Bei einer geringen Interpretierbarkeit – einem Mangel an inhärenter Transparenz – wird die externe Erklärbarkeit notwendig, um Vertrauen und Verständnis für ein Modell zu schaffen.

Machine Learning ist die Kerntechnologie von KI-Anwendungen. Es handelt sich um einen Prozess, bei dem ein Computer mithilfe eines Algorithmus aus Daten lernt und ein Modell erstellt. Während die Maschine (der Computer) Daten und einen Algorithmus zum Lernen verwendet, unterstützen Data Scientists die Erstellung eines Modells durch die Wahl einer oder mehrerer Trainingsmethoden. 

Modelltraining

Zum Erstellen eines ML-Modells benötigen Sie 3 Dinge: 

1. Daten

Dabei kann es sich um Zahlen, Texte, Audiodateien, Videoclips und/oder Bilder handeln. Die benötigte Datenmenge hängt von der Komplexität des zu lösenden Problems, der Qualität der Daten und der Komplexität des gewählten Algorithmus ab. 

Wählt man einen einfachen Algorithmus, wie beispielsweise die lineare Regression (mit dem Ziel, eine Gerade innerhalb der Daten in einem Streudiagramm zu finden), reichen unter Umständen schon ein paar Dutzend Datenpunkte aus. Wählt man hingegen einen komplexen Algorithmus, wie beispielsweise neuronale Netze, benötigt man möglicherweise Millionen oder Milliarden von Datenpunkten. 

2. Einen Algorithmus

Ein Algorithmus ist ein Rezept oder eine Formel, das bzw. die der Computer beim Lernen verwendet. Algorithmen müssen klar definiert sein und einen eindeutigen Haltepunkt haben. Das Hauptziel eines ML-Algorithmus besteht darin, Muster in Daten zu finden, damit die Maschine Entscheidungen treffen kann, ohne für jede Aufgabe explizit programmiert zu werden.

Manche Algorithmen, wie beispielsweise Entscheidungsbäume, sind so konzipiert, dass sie eine nachvollziehbare und unkomplizierte Ausgabe erzeugen. Man kann sich Entscheidungsbäume wie ein Flussdiagramm vorstellen – leicht verständlich und bei Bedarf korrigierbar. 

Bei einem Random Forest-Algorithmus hingegen werden Hunderte von Entscheidungsbäumen trainiert und anschließend jeder Baum aufgefordert, „abzustimmen“, woraus die endgültige Ausgabe besteht. Da kein Mensch die Logik von Hunderten von Flussdiagrammen auf einmal nachvollziehen kann, ist es fast unmöglich, den Algorithmus zu verstehen.

3. Eine Trainingsmethode

Damit ist die Methode gemeint, die Data Scientists beim Entwerfen, Implementieren und Fine Tuning des Lernprozesses des Computers verwenden. Dieser Lernprozess, das sogenannte Training, nutzt beispielsweise folgende Methoden:

• Supervised Learning (Überwachtes Lernen): Das Modell erhält einen Datensatz, in dem die Eingabedaten mit der richtigen Antwort gekennzeichnet sind. Seine Aufgabe ist es, die Beziehung zwischen den Eingabedaten und der korrekten Kennzeichnung zu untersuchen. Supervised Learning kann bei der Vorhersage von Ereignissen helfen.
  • Man gibt dem Modell beispielsweise 100.000 Fotos von Pferden und Bären und kennzeichnet jedes Foto korrekt mit „Pferd“ oder „Bär“. Das Modell lernt die Muster und kann schließlich auch ein neues Foto korrekt kennzeichnen.
• Unsupervised Learning (Unüberwachtes Lernen): Das Modell erhält einen Datensatz ohne gekennzeichnete Daten. Seine Aufgabe ist es, selbstständig Muster und Zusammenhänge in den Daten zu finden. Unsupervised Learning kann helfen, bestehende Muster aufzudecken.
  • Man gibt dem Modell beispielsweise Daten über das Einkaufsverhalten. Das Modell könnte dabei etwa feststellen, dass Personen, die Hundefutter kaufen, mit einer Wahrscheinlichkeit von 60 % auch Wanderschuhe kaufen.
• Reinforcement Learning (Verstärkendes Lernen): Das Modell erhält ein Ziel und einen Satz an Regeln, aber keine gekennzeichneten Daten. Seine Aufgabe ist es, durch Interaktion zu lernen. Dabei wird es für Aktionen „belohnt“ oder „bestraft“. Reinforcement Learning kann dabei helfen, Vorschläge für die nächsten Aktionen zu machen.
  • Ein Modell könnte beispielsweise Schach lernen, indem es Millionen von Partien spielt. Züge, die zu einem Sieg führen, werden „belohnt“, Züge, die zu einer Niederlage führen, werden „bestraft“. Der Prozess hilft dem Modell dabei, das Schachspielen zu „lernen“.

Sobald die Maschine die Daten verarbeitet und den Algorithmus sowie die Trainingsmethode anwendet, entsteht ein Modell. 

Ein Hinweis zu neuronalen Netzen

Neuronale Netze sind eine weitere Art von ML-Algorithmus. Nach dem Muster des menschlichen Gehirns werden Daten durch verschiedene Schichten von miteinander verbundenen Knoten geleitet, den sogenannten Neuronen. Wenn die Daten die einzelnen Schichten durchlaufen, werden ihnen unterschiedliche „Gewichte“ zugewiesen, die bestimmen, wie sie die nächste Schicht (und die nächste und die nächste) durchlaufen, bevor sie zu einer endgültigen Ausgabe werden. 

Neuronale Netze bestehen in der Regel aus einer Eingabeschicht und einer Ausgabeschicht. Bisweilen haben sie auch verborgene Schichten. Verborgene Schichten können zu weniger Transparenz bei den Modellen führen. Dies gilt insbesondere dann, wenn die verborgenen Schichten groß sind oder ein Modell viele verborgene Schichten hat. Wenn ein neuronales Netz mehrere verborgene Schichten aufweist, kann es als tiefes neuronales Netz klassifiziert werden. Die Methode, die zum Trainieren dieser Netze verwendet wird, wird als Deep Learning bezeichnet. 

Doch wie wird eine verborgene Schicht erzeugt? 

Eine verborgene Schicht ist kein Beispiel dafür, dass eine Maschine ein eigenes Bewusstsein entwickelt. Verborgene Schichten entstehen, wenn Data Scientists eine Maschine anweisen, innerhalb vordefinierter Schichten eigene Verbindungen herzustellen. Dann wird die endgültige, erlernte Logik für Menschen zu komplex, um sie zu verstehen.

Der Begriff „Black Box“ bezeichnet ein KI-Modell, das zu komplex ist, um von Menschen verstanden zu werden, und/oder dessen Funktionsweise nicht offengelegt wird. So entsteht eine Situation, in der nicht einmal die Data Scientists und Engineers, die den Algorithmus entwickelt haben, genau erklären können, wie das Modell zu einer bestimmten Ausgabe gelangt ist.

GPT4, eines der neuronalen Netze von ChatGPT, führt beispielsweise mehr als 3 Billionen mathematische Berechnungen durch, um ein einziges Wort zu generieren. Wenn man diese Rechnung von Hand überprüfen wollte und 1 Berechnung pro Sekunde durchführen könnte, bräuchte man 95 Jahre, um die Berechnungen zu wiederholen, die zum Generieren eines einzigen Wortes erforderlich sind. In solchen Fällen kann man zwar bestätigen, dass die Ausgabe korrekt ist, aber die Überprüfung der Arbeit ist nahezu unmöglich. 

Durch den Mangel an Interpretierbarkeit bei Black Box-Modellen kann es zu negativen Auswirkungen kommen, wenn diese für Entscheidungen von großer Tragweite genutzt werden, besonders in Branchen wie Gesundheitswesen, Transportwesen, Sicherheit, Militär, Rechtswesen, Luft- und Raumfahrt, Strafverfolgung oder Finanzwesen. 

Man kann sich erklärbare KI als eine Methode vorstellen, mit der man in Black Boxes hineinsehen kann. 

Sind alle Black Box-Modelle schädlich?

Die geheimnisvolle Natur von Black Box-Systemen ist nicht per se schädlich. Jedoch können diese System ein signifikantes Risiko beim Einsatz in Situationen von hoher Tragweite darstellen. Black Box-KI-Systeme können zu folgenden Konsequenzen führen:

Verzerrung und Diskriminierung: Wenn KI-Systeme mit Daten trainiert werden, die von Natur aus verzerrt sind, werden sich die Muster wahrscheinlich wiederholen. Man stelle sich ein Einstellungstool vor, das auf Basis der „erfolgreichen“ Führungskräfteeinstellungen der letzten 20 Jahre eines Unternehmens trainiert wurde: Wenn dieser Pool an Führungskräften überwiegend aus Männern bestünde, könnte das System lernen, Lebensläufe mit weiblichen Namen zu benachteiligen.

Mangel an Verantwortlichkeit: Wenn Black Box-Systeme zu einem Fehlurteil gelangen, gibt es keine Möglichkeit, das Logikmuster des Systems nachzuvollziehen. Dies könnte rechtliche Komplikationen mit sich bringen, wenn es darum geht zu entscheiden, wer (oder was) die Schuld an einem Schaden trägt, etwa wenn ein medizinisches Gerät oder ein autonomes Fahrzeug mit Black Box-System eine Fehldiagnose oder einen Unfall verursacht.

Wenn bei der Entwicklung die Funktionsweise eines KI-Systems nicht verstanden wird, ist es viel schwieriger, es im Nachhinein zu reparieren oder zu verbessern. Wenn die Logik im Verborgenen bleibt, ist es nicht einfach, Vertrauen in ein System aufzubauen.

Black Box im Vergleich zu White Box

Das Gegenteil einer Black Box ist eine White Box. Bei einer White Box, auch Glass Box genannt, handelt es sich um ein Modell, dessen Funktionsweise transparent ist. Das bedeutet, dass ein Mensch den gesamten Entscheidungsprozess von der Eingabe bis zur Ausgabe nachvollziehen kann. Denken Sie an das Konzept der Interpretierbarkeit zurück: Eine White Box ist ein interpretierbares Modell, während eine Black Box erklärbar sein muss. 

Warum ein Black Box-Modell erstellen, wenn es White Box-Modelle gibt? Am Ende kommt es nur auf Leistungsfähigkeit und Performance an. White Box-Modelle sind leichter zu interpretieren, weil ihre Funktionsweise weniger kompliziert ist. Daher sind sie tendenziell kleiner und verfügen über eine geringere Rechenkapazität und Leistung. 

Wenn ein White Box-Modell nicht leistungsstark oder genau genug ist, um die gewünschte Ausgabe zu erzeugen, greifen Data Scientists möglicherweise auf eine Black Box-Lösung zurück, etwa beim Trainieren eines Modells für komplexe, nuancierte und vielschichtige Zwecke wie generative KI. 

Mit erklärbarer KI können Nutzende besser verstehen, wie KI-Systeme zu ihren Ausgaben gelangen. Dies kann beispielsweise zu folgenden Vorteilen führen:

Mehr Vertrauen: Für die erfolgreiche Implementierung von Technologien wie agentischer KI ist Vertrauen zwischen Algorithmen und Menschen erforderlich. Das Hauptziel erklärbarer KI besteht darin, das Vertrauen der Nutzenden in die Ergebnisse ihrer KI-Anwendungen zu stärken. 

Weniger Risiko: Erklärbare KI ermöglicht eine bessere Bewertung von Modellen, sodass Sie eine fundiertere Entscheidung darüber treffen können, welches Modell am besten zu Ihren Bedürfnissen passt. 

Bessere Zusammenarbeit: Ein erklärbares Modell fördert die Dynamik funktionsübergreifender Teams. Betrachten wir zum Beispiel die Beziehung zwischen Data Scientists und ärztlichem Fachpersonal im Rahmen der Einführung eines ML-Modells in einem Krankenhaus: Das Modell sagt voraus, dass bei einer erkrankten Person ein hohes Sepsisrisiko besteht, und XAI zeigt, dass die wichtigsten Faktoren, die zu dieser Vorhersage führen, eine erhöhte Herzfrequenz, ein niedriger Blutdruck und eine niedrige Sauerstoffsättigung sind. Das ärztliche Fachpersonal kann dies nachvollziehen und bestätigt, dass das Modell auf medizinisch fundierten Empfehlungen beruht. 

Schnellere Fehlerbehebung: Wenn Data Scientists die Logik eines Modells beim Erstellen einer Ausgabe verstehen können, werden die Entwicklung, die Fehlerbehebung und das Treffen von Entscheidungen als Mensch in der Schleife erleichtert und beschleunigt. Dabei ist zu beachten, dass XAI die Computer nicht schneller macht – im Gegenteil, sie erzeugt einen höheren Rechenaufwand. Sie spart jedoch den Menschen Zeit. 

Bessere regulatorische Compliance: Erklärbare KI kann Unternehmen dabei unterstützen, gesetzliche Vorschriften und Datenschutzgesetze einzuhalten. Dazu gehört die Datenschutz-Grundverordnung (DSGVO) der Europäischen Union, die Einzelpersonen das Recht einräumt, die Logik automatisierter Entscheidungsfindung sowie die „Bedeutung und die voraussichtlichen Folgen einer solchen Verarbeitung für das Datensubjekt“ zu erfahren. In diesem Fall kann XAI dazu beitragen, Entscheidungen zu erklären, indem detailliert aufgezeigt wird, welche Datenpunkte und Faktoren ein bestimmtes Ergebnis beeinflusst haben. 

Der California Transparency in Frontier Artificial Intelligence Act (TFAIA) schreibt die Veröffentlichung von Transparenzberichten über die Risiken von Modellen und die getroffenen Maßnahmen zur Risikominderung bei der Entwicklung vor. XAI hilft Organisationen dabei, diese Risiken leichter zu erkennen. 

Verringerte Modellabweichung: Die Performance eines Modells kann „abweichen“, das heißt, dass sie sich mit der Zeit verschlechtern kann, wenn neue Daten hinzukommen. XAI hilft Ihnen bei der Analyse von Modellen und generiert Warnmeldungen, wenn die Modellausgabe vom erwarteten Wert abweicht. 

Das Gebiet der erklärbaren KI wächst ständig, um mit dem Tempo der KI-Entwicklung Schritt zu halten. Die Implementierung von XAI ist notwendig, aber die Lösungen sind nicht perfekt. Folgende Einschränkungen sind zu beachten:

Technische Komplexität der Ausgabe: Die derzeitigen XAI-Methoden sind hochtechnologisch und richten sich an ML-Fachleute, nicht an alltägliche Nutzende. Zur Lösung dieses Problems müssen entweder die technische Ausbildung und entsprechende Trainings verbessert werden oder komplexe Sachverhalte in allgemein verständlicher Form erklärt werden. 

Hohe Rechenkosten: Die Anwendung von XAI-Techniken ist teuer. Das liegt daran, dass Erklärungsalgorithmen umfangreiche Berechnungen durchführen müssen, um zu verstehen, warum ein Modell eine bestimmte Ausgabe erzeugt hat. So muss das Modell manchmal tausende Male ausgeführt werden, nur um zu verstehen, wie eine einzige Vorhersage zustande kam. 

Sicherheitsrisiken: Wenn man die Black Box öffnet, um ein Modell zu verstehen, läuft man Gefahr, aufzudecken, wie man das Modell austricksen kann. Dadurch können Schwachstellen entstehen, die es böswilligen Akteuren ermöglichen, das System auszunutzen und durch Reverse Engineering die Sicherheit zu durchbrechen. 

Verstehen im Vergleich zu Vertrauen 

Zu verstehen, wie ein Prozess funktioniert, ist nicht dasselbe, wie dem Prozess zu vertrauen. Man kann die Funktionsweise eines Skateboards verstehen, ihm aber nicht genug vertrauen, um damit zu fahren. 

Das Thema Vertrauen wirft die Frage auf: Könnte es gefährlich sein, KI zu viel Vertrauen zu schenken? Skepsis ist gesund, und zu viel Vertrauen in ein System kann dazu führen, dass man Fehlern ausgesetzt ist, mit denen man nicht rechnet. Wenn man jedoch nicht genügend Vertrauen in die Systeme hat, kann man auch nicht von den Vorteilen profitieren, die sie bieten können. 

Erklärbare KI soll Nutzende dabei unterstützen, das richtige Maß an Vertrauen anzuwenden. Wenn XAI hilfreichen Kontext liefert, können Nutzende selbst entscheiden, wie sehr sie dem System vertrauen.

Die Implementierung von XAI erfordert den Einsatz von mehr Transparenz im gesamten ML-Lifecycle – vom ersten Entwurf bis zum Monitoring. Es gibt keine einheitliche Methode, die Ausgaben eines ML- oder KI-Algorithmus zu erklären. Ihr Ansatz hängt davon ab, wie Ihr Modell aufgebaut ist und wer die Endbenutzenden sind. Folgende Faktoren sind zu berücksichtigen:

Globale oder lokale XAI-Modelle: Welches Erklärungsniveau ist erforderlich?

• Globale Erklärungen vermitteln ein umfassendes Verständnis der allgemeinen Muster, die Ihr Modell zur Entscheidungsfindung nutzt. In einem Modell zur Vorhersage der Kreditvergabe könnte eine globale Erklärung beispielsweise lauten: „Das Modell bevorzugt Personen mit einer hohen Kreditwürdigkeit“.
• Lokale Erklärungen beschreiben detailliert die Faktoren, die eine einzelne Entscheidung des Modells beeinflusst haben. Eine lokale Erklärung für dasselbe Kreditvergabemodell könnte beispielsweise lauten: „John Smith wurde am 19. November ein Kredit verweigert, weil seine Kreditwürdigkeit bei 520 lag und sein Einkommen unter der Schwelle von 35.000 US-Dollar lag“.

Direkte oder Post-hoc-XAI-Modelle: Wie liefert Ihr Modell Erklärungen?

• Direkte Modelle liefern von Anfang an transparente und nachvollziehbare Ergebnisse, genau wie White Box-Modelle.
• Post-hoc-Modelle waren ursprünglich nicht darauf ausgelegt, interpretiert werden zu können, da es sich um Black Box-Modelle handelt. Man kann jedoch Einblicke in ihre Funktionsweise gewinnen, indem man nach Abschluss des Trainings Algorithmen anwendet. Die Algorithmen helfen dabei, die Ausgabe zu analysieren und eine Erklärung zu erzeugen:
  • LIME (Local Interpretable Model-agnostic Explanations) ist eine Methode, die Eingabedaten manipuliert, um eine Reihe leicht unterschiedlicher künstlicher Daten zu erzeugen. LIME lässt diese künstlichen Daten durch das Modell laufen und beobachtet die Ausgabe. Dabei entstehen interpretierbare „Ersatzmodelle“, die dazu beitragen, die ursprüngliche Vorhersage des Black Box-Modells zu erklären.
  • SHAP (SHapley Additive exPlanations) ist eine Methode, die auf der kooperativen Spieltheorie basiert und den Beitrag jeder Eingabevariablen berechnet. Dabei werden alle möglichen Variablenkombinationen berücksichtigt. Sie bietet eine einheitliche Sichtweise darauf, wie die Variablen zur Ausgabe des Modells beitragen und welche Variablen die Vorhersagen beeinflussen.

Daten- oder Modell-XAI-Modelle: Welche Art von Erklärung benötigen Sie?

• Datenmodelle liefern eine Erklärung, die darauf basiert, wie Eingabedaten die Vorhersage beeinflussen.
• Modell-XAI-Modelle liefern eine Erklärung, die auf der Funktionsweise Ihres Modells basiert.

Verantwortliche KI-Praktiken wie ethische Richtlinien, Transparenz und die Verringerung von Verzerrungen sind unerlässlich für die Förderung vertrauenswürdiger KI-Systeme, die der Gesellschaft zugutekommen. 

Red Hat® AI ist eine Plattform, die KI-Innovationen beschleunigt und die operativen Kosten für die Entwicklung und Bereitstellung von KI-Lösungen in Hybrid Cloud-Umgebungen reduziert. 

Red Hat AI verwendet Open Source-Technologie, um den Herausforderungen einer umfassenden Unternehmens-KI zu begegnen. Wir unterstützen unsere Kunden mit Support und Tools dabei, Erklärbarkeit, KI-Governance, Vertrauenswürdigkeit, KI-Richtlinien, Erkennung von Verzerrungen und Abweichungen sowie Versionierung zu implementieren.

Um diese Funktionen bereitzustellen, integriert Red Hat AI Tools, mit denen Nutzende den gesamten Lifecycle des KI-Modells überwachen und verwalten können. Ermöglicht wird diese Funktionalität unter anderem durch TrustyAI, einem Open Source-Toolkit für verantwortliche KI-Technologie, zu dem Red Hat beiträgt.