本系列的第一篇与第二篇文章中,我们探讨了高效推理为何成为一项经济刚需,以及主权 AI 为何需要基础架构独立性。但支撑 AI 运行的基础架构,究竟该由谁来构建?

AI 基础架构带来的影响远不止性能层面。它决定了企业组织采用新硬件、集成新兴模型,以及在 AI 能力持续发展过程中做出调整的速度。

AI 发展日新月异,单一企业独木难支

AI 技术的各个层级都在同步发生变化。新的基础模型陆续问世,加速器供应商不断推出全新架构,各个企业组织正跨公共云、私有云、边缘环境以及本地基础架构部署 AI。

没有任何一家企业能在整个生态系统的所有环节完成创新,也不必要求企业做到这一点。每个企业组织自然会优先考虑自身产品、客户与路线图。但企业所需的基础架构,应当随更广泛的生态系统一同演进,而不仅仅是跟上单个供应商的发展重点。

开源 AI 是前行之路 

开源为协作和共享创新打造了一个中立的生态系统。

企业组织不必各自为政,单独应对编排、调度、可观测性、互操作性这类共性难题,而是以开放的方式开展工作,同时继续创造独有价值。由此产出的软件更具韧性和适应性,能够更好地跟随 AI 需求的发展而演进。

这种协作模式可惠及所有参与方。硬件供应商可获得更广泛的平台支持;云服务提供商可实现更高的灵活性;软件公司重建基础能力所需时间更少;企业可以自由采用新技术,而不受单个供应商路线图的限制。

llm-d 实际应用

llm-d 展示了开源 AI 的强大力量。llm-d 由 CoreWeave、Google、IBM、英伟达、红帽等众多开源贡献者联合开发,旨在解决企业 AI 领域一项至关重要的基础架构难题:在日趋多元化的环境中高效编排推理任务,同时维持高性能水平。

社区完成的每一项改进,都会夯实这套共享基础,可供各方采纳、拓展与优化。llm-d 没有打造又一个专有技术孤岛,而是助力构建具备互操作性的生态系统,让创新成果随时间持续累积放大。

社区铸就韧性

AI 还将持续演变,新模型、新硬件与新部署模式将不断重塑企业组织构建智能应用的方式。没有人能够预判下一项突破会是什么,这正是依托开源打造的 AI 具备持久生命力的原因。 

llm-d 这类项目证明,最具韧性的基础架构并不归单一企业所有,而是依靠社区力量不断壮大。开源生态系统携手攻克各类共性难题,所开发的软件为企业组织带来一项愈发珍贵的能力——自主应变的空间。

深入了解 

红帽的 Brian Stevens 和 Robert Shaw 探讨了各类企业组织为何选择依托开源生态系统,解决 AI 领域的各类共性难题。

阅读系列文章:

第一篇:llm-d:打破成本与容量壁垒

第二篇:扩展智能体 AI:llm-d 如何实现基础架构主权

资源

AI 推理入门

探索如何构建更智能、更高效的 AI 推理系统。了解量化、稀疏化以及 vLLM 等与红帽 AI 相关的先进技术。

关于作者

Pete serves as the Principal Community Architect for AI within Red Hat’s Open Source AI Program Office (OSAIPO). In this role, he drives community development and engagement for Red Hat’s open source AI initiatives, including key projects like llm-d. Pete helps scale Red Hat’s contributions to AI by supporting the open source communities and developers working to advance these technologies.

UI_Icon-Red_Hat-Close-A-Black-RGB

按频道浏览

automation icon

自动化

有关技术、团队和环境 IT 自动化的最新信息

AI icon

人工智能

平台更新使客户可以在任何地方运行人工智能工作负载

open hybrid cloud icon

开放混合云

了解我们如何利用混合云构建更灵活的未来

security icon

安全防护

有关我们如何跨环境和技术减少风险的最新信息

edge icon

边缘计算

简化边缘运维的平台更新

Infrastructure icon

基础架构

全球领先企业 Linux 平台的最新动态

application development icon

应用领域

我们针对最严峻的应用挑战的解决方案

Virtualization icon

虚拟化

适用于您的本地或跨云工作负载的企业虚拟化的未来