L'avenir de l'IA dépend d'un écosystème PyTorch portable et ouvert

Cet article de blog est une adaptation de notre keynote présentée lors de l'événement PyTorch Day India.

Quand on compare les technologies Open Source et les technologies propriétaires, l'Open Source l'emporte, en particulier dans le domaine de l'IA. Cependant, les progrès de l'IA générative font ressurgir un ancien défi au sein des entreprises. Tandis que le secteur évolue à un rythme effréné, une grande partie de l'infrastructure sous-jacente reste fragmentée ou bloquée par des barrières propriétaires. Afin de libérer un potentiel sans précédent, l'IA doit être ouverte à tous les niveaux du système, des ensembles de données aux pipelines d'entraînement, en passant par les couches d'infrastructure et de distribution.

Chez Red Hat, nous avons une vision claire de cet avenir Open Source : inclure tous les modèles, tous les accélérateurs et tous les clouds. Pour la concrétiser, nous misons sur les communautés Open Source les plus actives, comme celle du projet PyTorch. Celui-ci apporte de la flexibilité, de l'évolutivité et surtout de l'accessibilité à toutes les entreprises, indépendamment de leur fournisseur de matériel ou de services cloud. Afin de préserver la facilité d'accès de l'IA pour toutes les innovations, nous devons permettre aux utilisateurs de choisir en toute autonomie les outils et le matériel qui répondront le mieux à leurs besoins.

Favoriser l'autonomie, la facilité d'accès et la liberté de choix

Aujourd'hui, la plupart des discussions sur l'IA s'articulent autour des énormes modèles « frontier ». Bien qu'impressionnants, ceux-ci peuvent s'avérer coûteux et difficiles à gérer, et nécessitent souvent l'utilisation des processeurs graphiques les plus récents et les plus énergivores. Cet obstacle à l'adoption freine l'innovation. La solution réside dans l'intelligence modulable. Pour permettre sa mise en œuvre au sein de la communauté, nous avons créé vLLM Semantic Router. Grâce à cet outil qui sert de contrôleur de trafic intelligent pour acheminer les requêtes en fonction de l'intention, les entreprises peuvent mettre en place un raisonnement optimisé, à l'aide d'une infrastructure plus efficace et plus accessible. Nous aidons ainsi la communauté Open Source à réellement tirer parti du développement agentique, en déplaçant la puissance de l'IA depuis des applications monolithiques centralisées vers un modèle plus distribué et plus collaboratif.

Toute stratégie d'IA repose sur le serveur d'inférence, soit la couche qui relie le modèle à l'utilisateur. Pour favoriser l'ouverture et des performances élevées au sein de la couche d'inférence, nous sommes devenus un moteur principal de vLLM, l'un des projets les plus importants de la PyTorch Foundation. Avec vLLM, nous cherchons à atteindre un niveau de portabilité aussi élevé dans le logiciel du modèle que dans le modèle lui-même, afin de déployer l'IA à grande échelle et de répondre aux besoins des entreprises internationales. Concrètement, nos objectifs sont d'accorder la priorité à la mise en œuvre de vLLM dès la sortie des modèles et de penser au-delà des performances pour un seul nœud, tout en cofondant le framework llm-d. En désagrégeant les composants essentiels tels que le préremplissage et le décodage, nous contribuons à l'élaboration d'une norme ouverte et évolutive pour la mise à disposition des modèles, qui reflète la nature hybride et distribuée de l'entreprise moderne.

Outre les logiciels, la rareté et le coût du matériel comptent toujours parmi les principaux obstacles à l'IA. Les logiciels ne doivent jamais être délaissés au profit de l'autonomie, ni représenter un goulet d'étranglement pour le choix du matériel. Dans cette optique, nous défendons un avenir dans lequel PyTorch peut s'exécuter en toute transparence dans tous les environnements, et nous investissons dans le développement d'un écosystème PyTorch qui prend en charge toute une série d'accélérateurs, notamment :

• vllm-cpu : en collaboration avec d'autres leaders du secteur, nous intégrons des capacités d'inférence hautes performances aux processeurs existants. Ce changement s'avère essentiel lorsque le coût et la puissance sont des contraintes importantes.
• OpenReg : ce projet crée une structure qui permet de déployer rapidement du nouveau matériel moins énergivore, sans nécessiter de modifications complexes du cœur PyTorch.
• Noyaux avancés : à travers des projets comme Helion et Triton, nous aidons les équipes de développement à cibler plus facilement différents accélérateurs, quels que soient les composants sous-jacents.

Grâce à ces investissements, la communauté PyTorch demeure le centre le plus polyvalent et indépendant vis-à-vis du matériel pour le développement de l'IA.

Renforcer la sécurité de PyTorch pour les entreprises internationales

Pour passer des sites expérimentaux aux environnements de production stratégiques (ceux sur lesquels s'appuient les banques, les compagnies aériennes et les hôpitaux du monde entier, par exemple), l'IA doit être d'une fiabilité à toute épreuve. Chez Red Hat, troisième contributeur mondial au projet PyTorch, nous ne nous limitons pas aux nouvelles fonctions : nous nous employons à renforcer les capacités des entreprises. Nos équipes ont résolu plus de 60 problèmes dans Torch.Compile afin d'assurer la stabilité des charges de travail lourdes, et ont ajouté Red Hat Enterprise Linux à l'intégration continue officielle de PyTorch en amont. Lorsque nous contribuons à PyTorch, nous aidons chaque entreprise à déployer l'IA en toute confiance dans son système d'exploitation.

Les principes d'accès, d'autonomie et de liberté nous permettent de partager les idées et de faire progresser les technologies plus rapidement qu'une entreprise le ferait seule. Nous nous engageons à poser des bases ouvertes et optimisées pour les entreprises afin d'aider le monde à réaliser son plein potentiel, et ce, pour tous les modèles, accélérateurs et clouds.