L'IA Open Source chez Red Hat : notre parcours au sein de la communauté Kubeflow

Red Hat participe à des projets d'IA et de données depuis de nombreuses années. Même si beaucoup soutiennent la modernisation, personne n'évoque l'ensemble du parcours de l'utilisateur pour mettre l'intelligence artificielle (IA) et l'apprentissage automatique (AA) en production. C'est pourquoi nous avons lancé Open Data Hub, pour développer et soutenir des projets Open Source destinés aux données et à l'IA/AA, tels que Kubeflow et KServe.

Open Data Hub et Kubeflow

Au départ, Open Data Hub était un opérateur simple qui déployait des logiciels d'IA/AA et de données dans des clusters Red Hat OpenShift, avec un certain niveau d'intégration entre eux. Mais face aux goulets d'étranglement compliquant la prise en charge, nous nous sommes tournés vers Kubeflow, un nouveau projet axé sur la simplification et la mise à l'échelle des déploiements de charges de travail d'AA sur Kubernetes. En réécrivant Open Data Hub sur le code Kubeflow, nous avons pu créer une matrice de fonctions de prise en charge. Depuis un an, nous nous sommes impliqués davantage dans la communauté Kubeflow en vue de contribuer au code, mais aussi d'aider la communauté à atteindre des niveaux de maturité et d'acceptation élevés auprès des utilisateurs. Vous trouverez ci-dessous un aperçu de notre travail actuel au sein de la communauté Kubeflow.

Version 1.9 de Kubeflow

Après avoir rejoint la communauté Kubeflow,  Ricardo Martinelli, ingénieur logiciel senior chez Red Hat, s'est proposé pour travailler sur la feuille de route de la version 1.9 de Kubeflow en tant que responsable de distribution, en collaboration avec d'autres contributeurs de Kubeflow. Red Hat a ainsi intégré plusieurs fonctions à Kubeflow 1.9.

Registre de modèles

Le registre de modèles, une fonction à la demande, est devenu l'une des principales contributions de Red Hat à la version 1.9 de Kubeflow. Il s'intègre aux pipelines et composants de mise à disposition de Kubeflow pour créer un catalogue d'artéfacts, notamment des modèles, des ensembles de données et des indicateurs de mesure, et pour déployer des modèles à partir du stockage d'artéfacts. Ce registre de modèles inclut d'autres fonctions clés, comme le déploiement de charts opérateurs/Helm, le contrôle d'accès basé sur les rôles ou l'architecture multi-client. Pour le prendre en charge, la communauté Kubeflow a développé un nouveau groupe de travail.

Kubeflow Pipelines 2.0

Red Hat a également commencé à contribuer à Kubeflow Pipelines 2.0 en facilitant sa mise à niveau vers Argo Workflows 3.4, en résolvant des problèmes liés à la sécurité et aux licences MinIO, et en améliorant les performances des déploiements Argo et Tekton.

Notebooks 2.0

Avec la version 1.9 de Kubeflow, la communauté s'est lancée dans le développement de Kubeflow Notebook 2.0, censé apporter un nouvel ensemble de définitions de ressources personnalisées (CRD), Workspace et WorkspaceKind. Ces CRD permettent à l'administrateur de mieux contrôler les espaces de travail, et notamment de mettre à jour une configuration de notebook existante. La phase de conception a commencé début 2024 et le groupe de travail Notebooks dirige l'architecture de conception du projet. Les ingénieurs Red Hat Andriana Theodorakopoulou, Ramakrishna Pattnaik, Jiri Petrlik et Harshad Reddy Nalla sont en train de développer le document de conception et de préparer de futures contributions au code.

KServe

KServe est devenu un projet autonome après la fin du programme Kubeflow Incubation. La communauté KServe a collaboré étroitement avec la communauté Kubeflow au sein du groupe de travail Kubeflow Serving pour intégrer KServe à Kubeflow, tout en développant rapidement sa propre communauté KServe et en proposant des fonctions innovantes. Nous travaillons de concert avec la communauté pour mener des projets dans différents domaines. Nous avons notamment ajouté des versions d'exécution HuggingFace et vLLM prêtes à l'emploi, créé un environnement d'exécution explicatif enfichable, apporté des améliorations au mode RawDeployment et corrigé des bogues, optimisé les CRD KServe surdimensionnées, renforcé la sécurité, et amélioré le processus de lancement. Edgar Hernandez Garcia, Jooho Lee, Filippe Spolti et Yuan Tang font partie des principaux contributeurs Red Hat au projet KServe. Yuan Tang et Edgar Hernandez Garcia ont même récemment été promus réviseurs de KServe.

Quel avenir pour Kubeflow ?

Red Hat et d'autres membres de la communauté travaillent au développement de Kubeflow dans le cadre d'un projet certifié par la Cloud Native Computing Foundation (CNCF). Cette certification  demande d'adapter les supports de Kubeflow aux exigences de la CNCF, ce qui nécessite une intervention dans d'autres domaines, comme la sécurité et la politique de propriété intellectuelle.

Les équipes Red Hat Product Security et Open Source Program Office se sont mobilisées avec la communauté Kubeflow pour répondre aux questions relatives aux processus de vulnérabilité lorsqu'ils apparaissent dans les composants de Kubeflow. Sean Pryor dirige une initiative qui consiste à empêcher la publication d'images Kubeflow contenant des CVE non gérées via des outils d'analyse de sécurité et un workflow pour corriger ces problèmes de sécurité. Owen Watkins, de l'équipe Red Hat Product Security, travaille sur les conseils généraux à suivre lorsqu'un problème de sécurité survient.

Red Hat contribue également à la gouvernance de Kubeflow. Yuan Tang,  ingénieur logiciel principal chez Red Hat, a été élu membre du Kubeflow Steering Committee (KSC), l'organisme de gouvernance au niveau « root » de Kubeflow. Yuan Tang a déjà de l'expérience en tant qu'auteur et chargé de maintenance de nombreux projets Open Source de renom, notamment Argo et KServe. Il a également été responsable technique sur plusieurs sous-projets Kubeflow au cours des six dernières années. Ses contributions ont montré à la communauté Kubeflow qu'elle pouvait compter sur ses compétences techniques et de leadership, et l'ont aidée à répondre aux questions qui ont émergé au début du processus de certification de la CNCF.

Depuis le début de nos contributions au projet Kubeflow, nous savions que l'idée d'une « distribution certifiée » serait un sujet central. Avec le nouveau Steering Committee et le processus de certification de la CNCF en bonne voie, Kubeflow pourrait relancer le projet de création d'un test de conformité pour certifier les distributions Kubeflow.

Des efforts sont encore nécessaires pour que Kubeflow obtienne la certification CNCF, et Red Hat s'engage à contribuer davantage à la réalisation de cet objectif.

Kubeflow et Google Summer of Code

À la suite de notre engagement envers la communauté Kubeflow et de notre expérience de travail sur des projets Open Source, nous avons soumis une proposition au Google Summer of Code au nom de la communauté Kubeflow. Nous avons proposé plus de projets en collaboration avec d'autres contributeurs de Kubeflow qui s'occupaient du développement des API des LLM, des problèmes GitHub et du triage des requêtes « pull », de la documentation et bien plus encore. Nous participons au Google Summer of Code depuis plusieurs années, notamment dans le cadre de nos nombreux projets de middleware. Cette expérience nous a permis d'obtenir une autorisation pour participer à l'événement avec l'aide de la communauté Kubeflow. Nous sommes ravis d'accompagner les participants et de leur montrer comment l'expérience concrète du développement qu'offre la collaboration Open Source enrichit l'innovation, la formation et les carrières.

L'engagement et la relation de Red Hat avec la communauté Kubeflow illustrent la manière dont des communautés peuvent collaborer pour créer et distribuer de meilleurs logiciels. Nous nous attendons à de nombreuses années de réussite et tenons à remercier la communauté Kubeflow de nous accueillir à bras ouverts.