为什么 AI 的未来依赖于可移植且开放的 PyTorch 生态系统

本博客改编自我们在 PyTorch Day India 大会上的主题演讲。

在开源技术与专有技术的博弈中，开源已然胜出，尤其是在 AI 领域。然而，随着生成式 AI 时代的持续推进，企业面临着旧有挑战的新一轮考验。尽管行业发展日新月异，但大量底层基础架构依旧处于碎片化状态，或是受限于专有技术壁垒。若想要依靠 AI 释放前所未有的发展潜能，那么从数据集和训练管道，到基础架构和服务层，每一个层面都必须保持开放。

红帽对这一开放未来的愿景清晰而明确：‌任何模型、任何加速器、任何云。为实现这一目标，我们全力支持致力于创造最大影响力的开源社区，比如 PyTorch 社区。PyTorch 作为核心引擎，可赋予企业灵活性、可扩展性，更关键的是实现了全面可及性，而不受硬件或云提供商的限制。为了确保 AI 创新始终保持开放普惠，我们必须捍卫用户自主选择最契合自身特定需求的工具与硬件的权利。

聚焦自主性、普惠性与可选择性

如今，AI 领域的大多数讨论都聚焦于大规模的“前沿”模型。尽管这些模型令人印象深刻，但其难以驾驭且管理成本高昂，而且往往需要依托最新、最耗能的 GPU 才能运行。这便形成了一道准入门槛，阻碍创新发展。未来的发展方向在于可组合智能，而为了在社区中实现这一愿景，红帽推出了 vLLM 语义路由器。该工具充当智能流量控制器，根据意图路由请求，使企业组织能够使用更易获取、更高效的基础架构来实现高级推理。我们正是通过这种方式，使代理式开发在开源社区落地实施，将 AI 能力脱离集中式单体式架构，转向分布式协作模式。

任何 AI 战略的核心都是推理服务器，即模型与用户实际交互的层级。为实现推理层的开放性和高性能，红帽已成为 vLLM 的主要推动者；而 vLLM 正是 PyTorch 基金会旗下至关重要的项目之一。我们围绕 vLLM 开展相关工作，致力于使服务于模型的软件具备与模型本身同等的可移植性，这也正是我们扩展 AI 规模、满足全球企业需求的初心所在。从实际角度来看，这具体体现在哪些方面？简而言之：在模型发布后立即优先考虑 Day 0 vLLM 支持，不只关注单节点性能，并联合发起 llm-d 项目。我们对预填充和解码等核心组件进行解耦，帮助建立一个可扩展的开放模型服务标准，以契合现代企业分布式、混合部署的本质特征。

除了软件之外，硬件稀缺和成本高昂仍然是 AI 领域面临的最大障碍。我们绝不应为了实现自主性而牺牲软件，也不应让软件成为硬件选择的瓶颈。正因如此，我们倡导一个 PyTorch 能够在任何环境中无缝运行的未来，并投资开发支持一系列加速器的 PyTorch 生态系统。具体包括：

• vllm-cpu：我们与其他行业领导者合作，为现有 CPU 提供高性能推理能力。这对于成本和功耗受到严格限制的用例至关重要。
• OpenReg： 该项目创建了一个框架，支持快速启用新型的高能效硬件，而无需对 PyTorch 核心进行复杂的更改。
• 高级内核：依托 Helion 和 Triton 等项目，红帽正帮助开发人员简化针对不同加速器的开发工作，而无需考虑底层芯片。

这些投入共同确保了 PyTorch 社区始终是 AI 开发领域适配性最强、不受特定硬件限制的理想平台。

面向全球企业强化 PyTorch

要让 AI 从实验探索迈向支撑全球银行、航空公司和医院等企业组织运营的任务关键型生产环境，必须具备工业级可靠性。作为 PyTorch 项目的全球第三大贡献者，红帽的关注点不止于新功能，更在于企业级强化。我们的团队已修复 Torch.Compile 中的 60 多个问题，以确保繁重工作负载期间的稳定性，并将红帽企业 Linux（RHEL）集成到官方 PyTorch 上游 CI 中。我们向 PyTorch 的每一次贡献，是为让每个企业组织在部署 AI 时，可以拥有和使用操作系统一般充足的信心。

开放、自主与自由的原则，使我们能够以彼此的想法为基础，以远超任何单一企业组织所能达到的速度推动技术进步。无论是任何模型、任何加速器还是任何云，我们都致力于构建开放的企业就绪型基础，助力各行各业充分释放发展潜能。