Denizbank unterstützt Data Scientists

Über 100 Data Scientists der DenizBank, einer renommierten Privatbank in der Türkei und fünftgrößten Bank des Landes, wollten den bestehenden Workflow mit einem standardisierten Ansatz in einen weniger manuellen Prozess transformieren. Die IT-Tochtergesellschaft der Bank, Intertech, startete ein Projekt zum Bereitstellen einer Modellentwicklungsumgebung mit automatisierten Pipelines und Standards, um die Produktivität und Markteinführungszeiten zu verbessern. Eine der wichtigsten Verbesserungen, die Intertech implementiert hat, war die Einführung von Red Hat OpenShift AI aufgrund seiner Self Service-Funktionen und der Möglichkeit, die Modellbereitstellung zu skalieren sowie die operative Effizienz zu verbessern. Data Scientists können sich nun auf das Erstellen von Modellen konzentrieren – Modelle, die robuster und sicherer sind als je zuvor.

Vorteile: 

• Mehr Autonomie und einheitlichere Standards für über 120 Data Scientists aus verschiedenen Geschäftsbereichen
• Beschleunigte Markteinführung bei gleichzeitiger Sicherstellung robusterer und sichererer Modelle
• Optimierte GPU-Nutzung durch Slicing

Da künstliche Intelligenz (KI) und Machine Learning (ML) zu einem festen Bestandteil unseres Alltags geworden sind, haben innovative Unternehmen diese Technologien bereits tief in ihre täglichen Abläufe integriert. Die DenizBank, die fünftgrößte Privatbank in der Türkei, zählt zu diesen Unternehmen. Die Bank beschäftigt mehr als 120 Data Scientists, die auf verschiedene Geschäftsbereiche verteilt sind, darunter Risikomanagement, Marketing und Kundenbeziehungen. In Teams von 4 bis 5 Personen haben die hochqualifizierten Data Scientists der DenizBank bisher mehr als 100 KI- und ML-Modelle entwickelt. „Unsere Modelle konzentrieren sich in erster Linie auf Prognosen, beispielsweise darauf, welchem Kundentyp die Bank Kredite gewähren sollte“, erklärt Salih Eliguzel, Leiter DevSecOps bei Intertech, dem Technologieunternehmen der DenizBank. „Außerdem tragen sie zur Betrugsbekämpfung bei, indem sie Anomalien erkennen, die sonst nur schwer zu erkennen wären, beispielsweise wenn eine Person plötzlich einen höheren Betrag als üblich an einem Geldautomaten abhebt.“

Data Scientists sind auf die IT-Fachkräfte des Technologieunternehmens der Bank, Intertech, angewiesen, um die erforderliche Umgebung zu erhalten. Obwohl die Umgebung äußerst innovativ war, basierte sie dennoch auf komplexen, prozessor- und ressourcenintensiven Workstations, die für die einzelnen Modelle eingerichtet werden mussten. Der Prozess der Modellentwicklung ist komplex und umfasst das Erstellen des Modells, das Aufbereiten der Daten für das Modelltraining, das Fine Tuning und Validieren sowie das Hochladen in die Modell-Registry, von wo aus es bereitgestellt werden kann (Modell-Inferenz).

„Solche manuellen Prozesse – von der Erstellung der Modellentwicklungsumgebung auf der Workbench bis zur Vorbereitung der Daten – beeinträchtigten die Produktivität der Data Scientists erheblich und hinderten sie daran, sich auf höherwertige Aufgaben zu konzentrieren. Darüber hinaus konnten sie ihre Modelle nicht auf dem gewünschten Niveau validieren“, so Eliguzel. „Die Umgebungsvariablen stellten eine Herausforderung dar. Modellnamen, Datenbankintegrationen, Code-Repositories und Versionierung von Websites – ohne ein spezialisiertes Produkt ließ sich nichts davon standardisieren oder überwachen.“

Aufgrund fehlender Standardisierung entstanden uneinheitliche Arbeitsumgebungen, in denen die einzelnen Modelle auf unterschiedliche Weise auf Daten zugreifen konnten. Dies führte auch dazu, dass die vollständige Umgebung eines bestimmten Modells nicht transparent war. Darüber hinaus speicherten Data Scientists ihren Code auf ihren Workbenches, auf die niemand sonst Zugriff hatte.

Intertech wünschte sich die Entwicklung einer umfassenden, standardisierten und ganzheitlichen Lösung für die Data Scientists, mit der die Markteinführungszeit verkürzt und gleichzeitig Kosteneinsparungen bei den KI/ML-Prozessen erzielt werden sollten. Das Unternehmen wollte insbesondere Data Science Pipelines automatisieren, Self Service-Funktionen bereitstellen, die Skalierbarkeit der Modellbereitstellung verbessern und die operative Effizienz deutlich steigern.

DenizBank hat Red Hat OpenShift vor mehr als 3 Jahren eingeführt, wodurch Intertech umfassende Kenntnisse über die Plattform und Klarheit über deren potenzielle Vorteile erwerben konnte.

Nach einer gründlichen Analyse der Einführung von Red Hat OpenShift AI zeigte sich, dass diese Technologie die richtige Lösung für die Data Scientists war. „Wir haben uns für Red Hat OpenShift AI entschieden, weil es die Leistungsfähigkeit von Kubernetes nutzen kann, skalierbar ist und sich einfach verwalten lässt“, so Eliguzel. „Der deklarative Ansatz, den die Lösung ermöglicht – die Fähigkeit, Everything as Code zu verwalten – ist für uns ebenfalls von großer Bedeutung.“

Das Intertech-Team verfügt über DevOps-Erfahrung und war bereits mit der Einführung eines Microservice-Ansatzes bei der Neustrukturierung von Anwendungen der DenizBank vertraut – diese Kenntnisse konnten sie in die speziell für Data Scientists entwickelte Plattform einbringen. Red Hat Consulting unterstützte das Team bei der Konzeption und Architektur der OpenShift AI-Lösung bei DenizBank, die aus insgesamt 15 Clustern besteht, die On-Premise auf Bare Metal-Servern bereitgestellt werden.

„Red Hat Consulting nahm unsere Vision für die Transformation zu Microservices auf und unterstützte uns dabei, die technische Lösung an die bestehenden Best Practices für DevOps und GitOps anzupassen, um unseren Anforderungen gerecht zu werden“, so Eliguzel. „Dies ist ein Wertvorteil, den wir an unserer Partnerschaft mit Red Hat besonders schätzen: Sämtliche Aspekte gemeinsam zu besprechen und anzupassen war die beste Möglichkeit, die Best Practices zu erlernen.“

Ausgestattet mit professionellem Know-how begann Intertech mit der Definition von Prozessen und Standards, die die Data Scientists für die Plattform verwenden würden: Namenskonventionen, Erstellen einer Workbench, erforderliche Rechenressourcen, GPU-Nutzungsanforderungen und vieles mehr. Auf dieser Grundlage begann Intertech mit der Implementierung der GitOps-Anpassungen.

„Dank Red Hat OpenShift AI verfügen die Data Scientists der DenizBank nun über Zugriff auf ein breiteres Spektrum an Open Source KI-Technologien“, so Taner Kılıç, Software Platforms and Architecture Group Lead, Intertech. „Dadurch können sie die Leistungsfähigkeit der Plattform vollständig nutzen.“

OpenShift AI integriert den Kubeflow Notebook-Controller, die Modellbereitstellung und Komponenten für Data Science Pipelines, um das Deployment von KI/ML-Workflows in großem Umfang zu vereinfachen. Die Lösung stellt vorgefertigte oder benutzerdefinierte Cluster Images zur Verfügung, damit diese Modelle mithilfe von Jupyter-Notebooks erstellen können. Zusätzlich wreden Änderungen an Jupyter, TensorFlow, PyTorch und anderen Open Source-KI-Technologien verfolgt.

Mehr Autonomie und einheitlichere Standards für Data Scientists

Mit OpenShift AI wird sichergestellt, dass Data Scientists über die erforderliche Autonomie verfügen, um Modelle zu entwerfen und zu erstellen, mit denen sie auf der Grundlage solider Standards intelligente Anwendungen entwickeln können. Das Chaos, Umgebungen manuell neu konfigurieren zu müssen, wenn Modelle gewechselt werden, gehört der Vergangenheit an. Sie können nun mehr Zeit für das Erstellen von Modellen aufwenden.

„Durch die Ergänzung unserer Ressourcen um Red Hat OpenShift AI haben unsere Data Scientists mehr Autonomie und können höhere Standards erzielen.“, sagte Ömer Uyar, CTO, Intertech. 

Wenn Data Scientists mit der Entwicklung eines neuen Modells beginnen, dienen Self Service-Funktionen als Guide für den Aufbau einer bedarfsgerechten Entwicklungsumgebung für KI-Modelle. Sie wählen einfach ein geeignetes vorgefertigtes Basis-Image oder ein benutzerdefiniertes Image unter Verwendung der Standard-Libraries ihrer Organisation aus und definieren ihre Anforderungen. Die Plattform führt anschließend sämtliche erforderlichen Schritte automatisch für sie aus.

„Red Hat OpenShift AI bietet standardisierte Vorlagen und vorgefertigte Cluster-Images – sämtliche erforderlichen Libraries sind bereits integriert“, so Eliguzel. Diese Basis-Images enthalten beispielsweise GPU-Images für Python-spezifische Modelle. Plug-ins sorgen für eine einfache Plug-and-Play-Funktionalität beim Verbinden einer Datenquelle und bieten darüber hinaus weitere Vorteile.

Beschleunigte Markteinführung bei gleichzeitiger Sicherstellung robusterer und sichererer Modelle

 Intertech geht davon aus, dass OpenShift AI die Markteinführungszeit für neue Modelle von etwa 1 Woche auf nur 10 Minuten verkürzen wird. „Wir konnten uns davon überzeugen, dass die Automatisierung des gesamten Entwicklungsprozesses neuer Microservices mit OpenShift AI die Markteinführungszeit verkürzt“, so Eliguzel. „Wir erwarten ähnliche Verbesserungen auch bei der Entwicklung neuer KI/ML-Modelle.“

Neben dem Automatisieren von Umgebungserstellungen können Data Scientists dank Self Service-Funktionen ihre Modelle automatisch über die Pipeline bereitstellen, wodurch potenzielle Verzögerungen beim Modell-Deployment vermieden werden. Data Scientists verfügen nun über ein hohes Maß an Autonomie und Richtlinien sorgen dafür, dass sie dabei Standards und Vorschriften einhalten. „Data Scientists können unabhängig und effizienter arbeiten“, so Eliguzel, „aber wir erwarten von ihnen, dass sie Standards und Best Practices einhalten.“

Die Ablösung manueller durch automatisierte Prozesse unter Anwendung von Best Practices führt nicht nur zu einer schnelleren Markteinführung, sondern sorgt auch für sicherere und zuverlässigere Modelle. Da der Code nun in einem zentralen Repository gespeichert ist, lässt sich durch Code-Überprüfungen sicherstellen, dass die Modelle vollständig validiert sind. 

„Als unverzichtbare KI-gesteuerte Lösung bietet Red Hat OpenShift AI eine optimierte Umgebung, in der unsere Data Scientists robustere und sicherere Modelle erstellen und bereitstellen können,“ meint Okan Çetinkaya, CDO – CAO, DenizBank.

Darüber hinaus ermöglichen GitOps und Best Practices den von Intertech angestrebten deklarativen Ansatz. „Sie können eine Umgebung zerstören und anschließend wiederherstellen und haben in kürzester Zeit das gesamte System wieder betriebsbereit”, erklärte Eliguzel. „OpenShift GitOps stellt uns die Vorlagen – Helm Charts, die von ArgoCD gemanagt werden – für schnelle und konsistente Rebuilds zur Verfügung.“

Optimierte GPU-Nutzung durch Slicing

Durch die Integration mit NVIDIA-Dashboards lassen sich GPUs überwachen, um die GPU-Nutzung sowohl für das Training als auch für die Bereitstellung zu optimieren. OpenShift AI kontrolliert dann die Größe der GPU für das jeweilige Modell: „OpenShift AI unterstützt uns bei der Optimierung unserer GPU-Nutzung“, so Eliguzel. „Die Lösung skaliert automatisch die GPU-Slices, auf die ein Modell zugreifen kann, je nach Anforderung.“

OpenShift AI nutzt die MIG-Technologie (Multi-Instance GPU) von NVIDIA über den NVIDIA GPU Operator, um GPUs in mehrere isolierte Instanzen zu unterteilen. Die einzelnen Instanzen verfügen über ihre eigenen dedizierten Rechen-, Speicher- und Bandbreitenressourcen, sodass mehrere Pods aus verschiedenen Projekten auf GPU-Ressourcen zugreifen können. Dies gewährleistet eine garantierte Servicequalität und Fehlerisolierung. So wird die Ressourcenauslastung maximiert, die Flexibilität erhöht und es können mehr Workloads gleichzeitig ausgeführt werden, ohne dass zusätzliche GPU-Hardware erforderlich ist.

Die wichtigsten Ziele für Intertech waren Standardisierung und das Erstellen einer Modellentwicklungsumgebung mit Self Service-Funktionen. Nachdem bestimmte Standards und Pipeline-Automatisierungen festgelegt wurden, liegt der Fokus nun ganz auf der Migration sämtlicher Data Scientists und ihrer Modelle zu OpenShift AI. Zu den zukünftigen Prioritäten gehören auch die verbesserte Auslastung der Rechenressourcen (CPUs, GPUs und Arbeitsspeicher) sowie der Modell-Inferenzfunktionen und -zeiten mit OpenShift AI.

„Data Scientists zeigten die Herausforderungen im Zusammenhang mit dem erheblichen Zeitaufwand für das Einrichten neuer Umgebungen und das Trainieren neuer Modelle auf“, so Eliguzel. „Red Hat OpenShift bietet vollständige Automatisierung, moderne Tools und robuste Standards, die speziell darauf ausgelegt sind, die Produktivität von Data Scientists zu steigern. Es ist möglich, eigene Anwendungen und Modelle parallel in Red Hat OpenShift AI zu erstellen.“