随着企业褪去对生成式 AI 的盲目追捧,开始构建受监管的生产就绪型 AI 应用,一系列新的挑战也随之浮现。目前,许多企业将所有提示词都路由到基于云的大型 LLM,这可能会导致成本过高、延迟过长以及不必要的数据泄露。
为解决这一问题,红帽与英伟达携手合作,将企业级 AI 开发直接引入开发人员的本地环境。我们很高兴地宣布,NVIDIA DGX Spark 上的红帽企业 Linux 10(RHEL 10)的开发预览版现已推出。
NVIDIA DGX Spark 搭载 NVIDIA GB10 Grace Blackwell 架构,算力高达 1 Petaflop,支持 FP4 数据格式,并配备 128 GB 统一内存。通过将该硬件与红帽值得信赖的操作系统和开发人员工具搭配使用,我们提供了一个高性能的 AI 开发人员工作站,可在边缘支持内部开发循环和本地代理式 AI 工作负载。
这一组合使开发人员能够在将工作负载推送到生产环境之前,使用熟悉的工具(如红帽桌面版)在本地构建、测试和评估复杂的代理式工作流。
为什么这至关重要?
依托 NVIDIA DGX Spark 上的 RHEL,我们正在解决企业采用 AI 所面临的主要障碍,包括:
- 成本控制与数据主权:通过将敏感流量保留在本地,并利用小语言模型(SLM)来执行中低复杂度的任务,企业可以减少云 API 支出,同时将敏感数据限制在本地工作站上。此外,NVIDIA DGX Spark 上的 128 GB 统一内存支持托管大语言模型(LLM),有助于进一步降低模型开发期间的云成本。
- 评估驱动型开发: 自主 AI 代理具有非确定性特征,标准单元测试已难以满足验证需求。运行 NVIDIA DGX Spark 上的 RHEL,可提供用于严格测试的终极沙盒环境。开发人员可以使用嵌入式 MLflow 实例进行“白盒”轨迹跟踪,更有效地捕获工具调用和模型查询,并在将任何内容推向生产环境之前,在本地执行“LLM 即裁判”(LLM-as-a-Judge)评估。
- 从核心到集群的一致性:通过将 RHEL 标准化为底层操作系统,开发人员可以专注于构建应用,而不必担心基础架构层面的阻碍。RHEL 兼顾生产稳定性与开发人员敏捷性,有助于加快跨混合云环境和行业领先芯片架构的应用开发。此外,从本地工作站开发到在红帽 OpenShift 上进行大规模部署的过渡,也将变得更加流畅、可预测。
AI 的未来将为混合模式,而这一切始于开发人员的桌面工作站。请联系您的红帽代表,进一步了解 NVIDIA DGX Spark 上的 RHEL 10 开发人员预览版,以及它如何帮助您加快 AI 之旅。
关于作者
Luke Thompson is a Senior Product Manager for the Edge Computing portfolio at Red Hat, focused on delivering platform capabilities that simplify how edge technologies are adopted and used in real-world environments.
He brings a strong background in industrial automation and IT/OT convergence, with experience helping organizations integrate complex systems, streamline data flows, and turn operational data into actionable insights in manufacturing and industrial settings.
Today, Luke applies this expertise to bridge the gap between sophisticated IT infrastructure and the practical needs of users at the edge, making advanced technologies more accessible, usable, and impactful.