代理式悖论与混合 AI 的必要性

科技行业正在迅速采用代理式软件开发模式，将业务流程转化为完全自主的代理式工作流，而这已不是什么秘密。尽管这些工具的强大能力毋庸置疑，但当前的使用模式却带来了一项挑战。大多数此类解决方案以模型即服务的方式交付，这可能会引发一场 AI 领域的云悖论：代理式悖论。

这个悖论很简单。提高业务流程速度的最快途径是使用强大的前沿模型。然而，随着采用规模扩大，这种策略将难以为继。词元成本会侵蚀利润空间，不可预测的延迟会降低性能，而将敏感数据路由到公共 API 则可能会违反机密性、主权和监管要求。为缓解这些矛盾，企业必须超越简单的消费模式，转向一种以提供选择权为优先事项的混合架构策略。  

创新成本

目前已经出现了明显的瓶颈。部分报告显示，一些企业在第二季度中期，就已将全部云支出预算耗尽在词元上。我们正面临一个关键的转折点，需要采用新的模型推理方法，以重新掌控成本、性能和数据。 

企业之前为追求创新而累积的账单迟早会来，届时他们该如何应对？我们正在超越单纯使用模型的时代，必须着手架构支撑这些模型的系统。企业大概率会采用混合模式。部分词元消耗将使用前沿模型，而另一些将在公共云或企业数据中心内进行自助管理。

以系统为中心的思维模式

红帽研究和新兴技术团队的大部分工作都聚焦于智能层和基础架构层之间的关系上，并由此催生出诸多创新的开源社区项目，例如最近为 AI 代理构建的基于镜像的强化基础。通过以与传统企业软件同样严格的标准来对待 AI 工作负载，开源技术为生产环境提供了所需的稳定性。 

这种架构转变，使企业组织能够从以模型为中心的视角，转向以系统为中心的思维模式。在这种模式下，价值体现在整个堆栈的可靠性上，而非单个提供商的 API。

选择机制

当企业致力于恢复财务稳定并为混合控制与一致性奠定基础时，通常会首先采用推理代理或路由器。这是在现有代理式实施方案中架构更改最少、破坏性最小的推理成本降低方法。通过保持推理端点的一致性，企业组织可以在服务提供商之间切换，或转向提供更高价值的自助管理模型。 

这正是红帽创建 vLLM 语义路由器和 llm-d 等项目的原因——探索人工智能领域的新颖想法，就 vLLM 语义路由器而言，重点则在于推理路由和词元经济学。这些开创性的研发工作，正是最终塑造红帽平台的基石。像 vLLM 语义路由器这样的项目，提供了驾驭多模态环境所需的智能、高效的路由能力；通过拥有这一路由智能层，企业组织能够重新掌控其在任何基础架构中的工作负载。

混合现实

除了推理路由外，企业组织的下一步是探索自助管理式解决方案。这意味着采用由 vLLM 等高性能推理平台提供服务的最新开放权重模型产品，并将其托管在企业自己的基础架构上。 

接下来便是一个核心挑战：企业组织如何才能将通过模型即服务开发的强大的代理驱动型业务流程替换为开放权重模型？企业该如何复制模型即服务模式，从词元消费者转变为 AI 提供商？在这一转型过程中，他们将面临哪些取舍？他们如何在不降低效率的情况下成功实现这一转变？

每家企业都拥有多年积累的独特数据，而在公开领域训练的模型则缺乏这种特定的上下文和训练。在本地运行的开放权重模型可以与这些私有数据源相结合，从而安全地提升代理的准确性和能力。虽然某些开放权重模型可以直接作为替代方案，但其他模型则需要通过微调、提炼和强化学习来弥合性能差距。随着强化学习进入市场，这些模型的准确性以及由此产生的代理式工作负载的表现都将得到进一步提升。这条路径最终导向混合架构：一些涉及核心工作负载的模型，由企业进行自主管理；另一些模型则通过第三方托管服务接口使用。 

红帽专注于混合解决方案。正如我们通过红帽企业 Linux 和红帽 OpenShift 为云使用提供混合平台一样，红帽 AI Enterprise 也为代理部署和推理提供了混合平台，无论您使用哪种模型或将模型托管在何处，这充分证明了自由选择的能力是通过开源实现的。未来的 AI 部署将采用混合模式，而红帽已经提供了构建这一未来的平台。

如需聆听来自红帽高管以及我们客户和合作伙伴的更多分享，请通过 YouTube 观看红帽全球峰会主题演讲直播。

• 下一个平台是选择——5 月 12 日星期二，上午 8:30-10:00（美国东部夏令时间）
• AI 就绪型企业已然到来——5 月 13 日星期三，上午 9:00-10:00（美国东部夏令时间）

了解有关红帽全球峰会的更多信息，并在红帽全球峰会新闻中心查看红帽本周发布的所有公告。在 X 上关注 @RedHatSummit 或 #RHSummit，获取有关活动的最新动态。