Warum die Zukunft der KI von einem portierbaren, offenen PyTorch-Ökosystem abhängt

Bei diesem Blog handelt es sich um eine Bearbeitung unserer Keynote-Präsentation beim PyTorch Day India.

Bei der Entscheidung zwischen Open Source und proprietärer Technologie setzt sich Open Source durch – insbesondere im Bereich KI. Das Zeitalter der generativen KI schreitet jedoch voran und stellt Unternehmen dabei vor eine neue Version einer alten Herausforderung. Während sich die Branche in rasantem Tempo verändert, ist ein Großteil der zugrunde liegenden Infrastruktur weiterhin fragmentiert oder bleibt hinter proprietären Systemen verschlossen. Wenn Unternehmen mit KI nie da gewesene Möglichkeiten erschließen wollen, muss sie auf sämtlichen Ebenen offen sein – von Datensätzen und Trainings-Pipelines bis hin zu Infrastrukturen und Bereitstellungsebenen.

Bei Red Hat haben wir eine klare Vision für eine solche offene Zukunft: beliebige Modelle, beliebige Beschleuniger, beliebige Clouds. Damit diese Vision Realität werden kann, setzen wir auf Open Source Communities wie die PyTorch-Community, die auf größtmögliche Wirkung abzielen. PyTorch ist der Motor, der die Flexibilität, Skalierbarkeit und vor allem Zugänglichkeit von Unternehmen unterstützt – unabhängig von ihrer Hardware oder ihrem Cloud-Anbieter. Damit KI-Innovationen zugänglich bleiben, müssen wir die Selbstbestimmung der Nutzer schützen, die Tools und Hardware auszuwählen, die ihren spezifischen Anforderungen am besten entsprechen.

Grundlage für Selbstbestimmung, Chancengleichheit und freie Wahl

Heute dreht sich ein Großteil der KI-Diskussion um riesige „Frontier“-Modelle. Diese Modelle sind zwar beeindruckend, können aber unflexibel und teuer in der Verwaltung sein. Darüber hinaus erfordern sie oft die neuesten, leistungsintensivsten GPUs. Dadurch entsteht eine Zugangsbarriere, die Innovationen erschwert. Der Weg in die Zukunft führt über Composable Intelligence. Damit die Community diesen Ansatz nutzen kann, hat Red Hat den vLLM Semantic Router entwickelt. Das Tool sorgt für eine intelligente Kontrolle des Datenverkehrs und leitet Anfragen je nach Absicht weiter. Dies sorgt für eine besser zugängliche, effizientere Infrastruktur und ermöglicht es Unternehmen, ein komplexes Reasoning zu erzielen. Auf diese Weise machen wir die agentische Entwicklung zu einer praktischen Realität für die Open Source Community und verlagern die Leistungsfähigkeit der KI von zentralisierten Monolithen hin zu einem stärker verteilten, gemeinschaftlichen Modell.

Das Kernstück einer KI-Strategie ist der Inferenzserver – die Schicht, über die das Modell mit den Nutzenden in Kontakt kommt. Um Offenheit und hohe Performance innerhalb der Inferenzschicht zu ermöglichen, setzt sich Red Hat stark für vLLM ein, einem der wichtigsten Projekte innerhalb der PyTorch Foundation. Fokus unserer Arbeit mit vLLM ist dabei, sowohl in der Software, die das Modell bereitstellt, als auch im Modell selbst ein Maximum an Portierbarkeit zu ermöglichen – mit dem Ziel, KI zu skalieren und den Anforderungen globaler Unternehmen gerecht zu werden. Was bedeutet das in der Praxis? Kurz gesagt bedeutet das, dass wir vLLM ab Day 0 der Modellveröffentlichung unterstützen, über die Einzelknoten-Performance hinausblicken und llm-d mitbegründen. Durch die Entkopplung von Kernkomponenten wie Prefill und Decode tragen wir zum Aufbau eines skalierbaren, offenen Standards für die Modellbereitstellung bei, der dem verteilten, hybriden Wesen moderner Unternehmen gerecht wird.

Neben der Software gehören Hardwareknappheit und die damit einhergehenden Kosten nach wie vor zu den größten Hürden bei der Nutzung von KI. Selbstbestimmung sollte nicht bedeuten, bei der Software Abstriche machen zu müssen, und Software sollte die Hardwareauswahl nicht einschränken. Deshalb setzen wir uns für eine Zukunft ein, in der PyTorch nahtlos in vielen verschiedenen Umgebungen ausgeführt werden kann, und investieren in die Entwicklung eines PyTorch-Ökosystems, das eine Vielzahl von Beschleunigern unterstützt. Dazu gehören:

• vllm-cpu: In Zusammenarbeit mit anderen Leadern der Branche bieten wir leistungsstarke Inferenzen auf vorhandenen CPUs. Dies ist von entscheidender Bedeutung für Use Cases, bei denen Kosten und Leistung erhebliche Einschränkungen darstellen.
• OpenReg: Im Rahmen dieses Projekts wird ein Framework entwickelt, das die schnelle Integration neuer, leistungsoptimierter Hardware ermöglicht, ohne dass tiefgreifende Änderungen am PyTorch-Kern erforderlich sind.
• Erweiterte Kernels: Mit Projekten wie Helion und Triton trägt Red Hat dazu bei, die Ausrichtung von Beschleunigern zu vereinfachen – unabhängig von der zugrunde liegenden Hardwarebasis.

Zusammen sorgen diese Investitionen dafür, dass die PyTorch-Community die vielseitigste und hardwareunabhängigste Plattform für die KI-Entwicklung bleibt.

Härten von PyTorch für globale Unternehmen

Für den Übergang von KI aus experimentellen Laborumgebungen in geschäftskritische Produktivumgebungen – in Banken, Fluggesellschaften und Krankenhäusern auf der ganzen Welt – ist branchenübliche Zuverlässigkeit erforderlich. Als weltweit drittwichtigster Mitwirkender am PyTorch-Projekt konzentriert sich Red Hat nicht nur auf neue Features, sondern auch auf unternehmensgerechte Härtung. Unsere Teams haben über 60 Probleme in Torch.Compile behoben, um die Stabilität bei hohen Workloads sicherzustellen, und Red Hat Enterprise Linux (RHEL) in die offizielle Upstream-CI von PyTorch integriert. Unsere Beiträge zu PyTorch haben zum Ziel, dass Unternehmen KI mit demselben Vertrauen bereitstellen können, das sie in ihr Betriebssystem haben.

Die Prinzipien von Zugänglichkeit, Selbstbestimmung und Freiheit ermöglichen es uns, auf den Ideen anderer aufzubauen und Technologien schneller voranzutreiben, als es ein einzelnes Unternehmen allein könnte. Unabhängig davon, ob es sich um Modelle, Beschleuniger oder Clouds handelt – wir setzen uns dafür ein, die offene, unternehmensgerechte Basis zu entwickeln, die unsere Welt braucht, um ihr volles Potenzial zu realisieren.