在我发布的上一篇文章中,我将 AI 推理比作 AI 项目的神经系统,这个至关重要却往往不可见的基础架构,决定了用户的体验。无论是聊天机器人还是复杂的应用,原理都一样:如果神经系统出现问题,其他一切也会出现问题。
然而众所周知,神经系统并非孤立运作。它依赖于身体的其他部分,与无数其他系统协同工作。企业 AI 本质上亦是如此。单独的模型、孤立的基础架构组件、分散的编排或断开连接的应用,均无法独自提供有意义的价值。只有当这些要素相互连接,形成凝聚高效的整体时,才会产生真正的影响力。
“黑箱”风险
采用 AI 的途径多种多样。一些企业从封闭的“黑箱”系统开始,即让起步变得简单的预封装平台。这些系统或许是很好的入门选择,但也伴随着诸多权衡取舍。如果您无法了解模型的训练方式,就难以基于您的上下文解释模型行为、解决偏见问题或验证准确性。事实上,IBM 2025 年的一项调查发现,45% 的企业领导者将数据准确性或偏见视为采用 AI 的最大障碍。如果无法洞悉系统内部运作,就难以信任其输出结果。这类系统的适应性通常仅限于表面的微调或提示词技巧,难以真正将模型塑造成符合业务需求的样子。
更关键的是,您很难控制这些模型的运行位置和运行方式。它们与单一提供商的基础架构绑定,迫使您放弃数字主权并接受他人的路线图。代价很快会显现出来:无法优化成本、无法解答最终用户的“为什么”问题,以及当监管机构询问敏感数据处理位置时面临的合规风险。
开源技术开辟了另一条基于透明度和灵活性的路径。您可以深入了解模型内部运作情况,使用自己的数据调整模型,并在最符合您业务需求的环境中运行它们。vLLM 和 llm-d(用于优化推理)和 InstructLab(用于调整和微调模型)等社区驱动的项目,正是展现开源协作如何助力实现选择权和控制权的有力例证。拥有这种控制权,您就能主动掌控 AI 战略;否则,您只能后知后觉地发现自己受制于人。
红帽 AI
这就是红帽 AI 背后的理念:这个精心打造的产品组合,不仅能帮助您构建 AI,还能确保各个部分协同运作。毕竟,如何将各个部分连接起来,最终决定了 IT 和 AI 战略的敏捷性、可信度和主权性。
红帽 AI 产品组合包括:
- 红帽 AI 推理服务器:提供一致、快速且经济高效的推理。其运行时(即 vLLM)可最大限度地提高吞吐量并尽可能减少延迟。经过优化的模型存储库可加快模型服务速度,而 LLM 压缩器则有助于在保持准确性的同时降低计算资源利用率。
- 红帽企业 Linux AI:为在个人服务器环境中运行 LLM 提供了一个基础模型平台。该解决方案包括红帽 AI 推理服务器,它提供了一个专为推理而优化的不可变专用设备。RHEL AI 将操作系统和应用打包在一起,助力实现 Day 1 运维,从而跨混合云优化模型推理。
- 红帽 OpenShift AI:这个 AI 平台可用于在混合云环境中大规模构建、训练、调优、部署并监控依托 AI 技术的应用、预测模型和基础模型。红帽 OpenShift AI 有助于加速 AI 创新,提高运维一致性,并在实施值得信赖的 AI 解决方案时优化对资源的访问权限管理。
红帽 AI 以开源为基础,并以企业级支持为后盾,可帮助您的 AI 组件在数据中心、云和边缘环境中实现无缝协作。通过这种方法,您能够在任何加速器上、任何云上运行任何模型,而不会影响当前或未来的 IT 决策。
借助红帽 AI,您可以选择首选的云,使用所需的加速器,并扩展现有工具。该平台能无缝适配您的现有环境,同时面向未来保留所需的灵活性。
为整个生态系统带来的价值
对于合作伙伴而言,红帽 AI 使他们能够将解决方案直接部署到客户已经信任的环境中,无需耗费高昂成本进行返工或中断业务。有了这种开放性,企业能够获得更大的灵活性,合作伙伴也能够加速采用并提供更一致的体验。开放性造就了真正的双赢局面:企业获得控制权和敏捷性,而合作伙伴则能拓展机遇与利润空间,而不必受限于单一供应商的方案。最终缩短了整个生态系统的价值实现时间。
DenizBank 展示了这种模式的实际应用效果。在采用 OpenShift AI 之前,DenizBank 的数据科学家一直受困于手动环境,在这种环境中,设置依赖项和管理基础架构速度缓慢且容易出错。通过在现有平台上构建 OpenShift AI,并使用 GitOps 来管理从实验到生产阶段的整个 AI 生命周期,该公司将环境设置时间从一周缩短到了十分钟左右。部署新的微服务和模型所需的时间从几天缩短到几分钟。目前,超过 120 名数据科学家使用自助服务环境和标准化工具,并且能够更有效地利用 GPU 资源。这种速度、一致性和可扩展性,正是企业 AI 堆栈设计为协同运作时所能实现的效果。
AI,社区共同努力的成果
此时,AI 的价值已不是任何一个产品所能概括的。大规模实施 AI 从来都不是仅靠一家公司就能完成的任务。它需要基础架构、加速器、编排层、开源项目、企业平台,并且最重要的是,还需要能够将这一切连接起来的社区。
经得起时间考验的技术绝非孤立构建而成。它们在开放环境中构建,由社区进行压力测试,并针对单个供应商无法预见的各种用例进行了调整,从而在现实世界中展现出更强的弹性和可用性。正因如此,Linux 成为了企业计算的支柱,而开源也将以此方式塑造下一代 AI。
每个企业组织的 AI 之旅各不相同。无论您是进行实验、扩展还是实施部署,红帽 AI 都能帮助您更快实现目标。进一步了解相关产品组合,或联系我们,探讨适合您的路径。