概述
Kubernetes 通过确保代码在各种环境中始终具有可重现性、可移植性和可扩展性，从而为 AI/ML 工作负载提供支持。Kubernetes 是一个开源平台，可通过消除部署和扩展容器化应用过程中涉及的许多手动流程，实现 Linux 容器运营自动化。Kubernetes 是简化 AI/ML 生命周期的关键，因为它为数据科学家提供了训练、测试和部署 ML 模型所需的敏捷性、灵活性、可移植性和可扩展性。
容器在 AI/ML 开发中的作用
在构建支持机器学习的应用时，工作流并非线性的，随着团队致力于持续集成与持续交付（CI/CD），研究、开发和生产这几个阶段处于永不停歇的动态循环之中。在构建、测试、合并和部署应用的新数据、算法和版本的过程中，会产生大量动态变化的环节，这些环节往往难以管理。而这正是容器的用武之地。
容器是一种 Linux 技术，可让您打包并隔离应用及其运行所需的所有库和依赖项。容器不需要完整的操作系统，只需运行所需的特定组件，因此既轻量又可移植。这不仅为运营团队提供了便捷的部署体验，也让开发人员确信，他们的应用在不同平台或操作系统上将以完全相同的方式运行。
容器的另一个好处在于，它通过划分职责范围，有助于减少开发团队与运营团队之间的冲突。如果开发人员能够专注于应用，运营团队能够专注于基础架构，那么随着应用在整个生命周期中不断发展和演进，将新代码集成到应用中的过程将变得更加顺畅和高效。
红帽资源
Kubernetes 为 AI/ML 工作负载带来的好处
可扩展性：Kubernetes 允许用户根据需求动态扩展或缩减 ML 工作负载。这可确保机器学习管道能够适应大规模处理和训练，而不会干扰项目的其他部分。
高效性：Kubernetes 会根据节点的可用性和容量，将工作负载调度到相应节点上，从而优化资源分配。通过确保有针对性地利用计算资源，用户有望降低成本并提升性能。
可移植性：Kubernetes 提供了一个与平台无关的标准化环境，使数据科学家能够开发一个 ML 模型，并将其部署到多个环境和云平台上。这意味着不必担心兼容性问题和供应商锁定。
容错能力：凭借内置的容错和自我修复能力，用户可以放心，即使在发生硬件或软件故障时，Kubernetes 也能确保 ML 管道正常运行。
在 Kubernetes 上部署 ML 模型
机器学习生命周期由许多不同的元素组成，如果单独进行管理，运营和维护工作将会非常耗时且会耗费大量资源。借助 Kubernetes 架构，企业组织可以实现 ML 生命周期部分环节的自动化，从而消除对人工干预的需求，并提高效率。
可以实施 Kubeflow 等工具包，以协助开发人员在 Kubernetes 上简化并支持经过训练的 ML 工作负载。Kubeflow 通过提供一组工具和 API，简化了大规模训练和部署 ML 模型的过程，从而解决了机器学习管道编排过程中面临的诸多挑战。Kubeflow 还有助于实现机器学习运维（MLOps）的标准化和组织化。
红帽能如何提供帮助
Kubernetes 可以帮助您简化 AI/ML 工作负载，但您仍然需要一个平台来进行实验、提供模型服务并交付应用。
红帽® AI 是我们专门针对企业组织需求而构建的 AI 产品组合，它筑基于深受客户信赖的红帽解决方案。有了这种稳健的基础，我们的产品就能始终可靠、灵活且可扩展。
红帽 AI 可以助力企业组织：
- 快速采用 AI 并进行创新。
- 拆解交付 AI 解决方案的复杂流程。
- 随时随地部署。
在扩展的同时保持灵活性
红帽 AI 包含红帽 OpenShift® AI：一个集成的 MLOps 平台，能够管理预测性 AI 与生成式 AI 模型的生命周期。
该 AI 平台提供了一个空间，用于在本地数据中心或更靠近数据所在位置的地方，构建、训练、部署和监控 AI/ML 工作负载。这样一来，在需要时便可以更轻松地将运营工作扩展到云端或边缘。
通过将 Kubernetes 与红帽 AI 叠加使用，您的团队能够在混合云环境中交付 AI 应用时保持敏捷灵活。
解决方案模式：利用红帽技术和 NVIDIA AI Enterprise 构建 AI 应用
创建 RAG 应用
红帽 OpenShift AI 是一个用于构建数据科学项目并为依托 AI 的应用提供服务的平台。您可以集成支持检索增强生成（RAG）所需的所有工具，这是一种从自己的参考文档中获取 AI 答案的方法。将 OpenShift AI 与 NVIDIA AI Enterprise 关联后，您可以尝试各种大语言模型（LLM），以找到适用于您应用的最佳模型。
构建文档管道
要使用 RAG，需要先将文档导入向量数据库。在示例应用中，我们将一组产品文档嵌入了 Redis 数据库。由于这些文档经常更改，我们可以为此过程创建一个管道并定期运行，以确保始终拥有最新版本的文档。
浏览 LLM 目录
NVIDIA AI Enterprise 支持访问不同大语言模型的目录，因此您可以尝试不同的选择，并选择能够提供最佳结果的模型。这些模型托管在 NVIDIA API 目录中。设置 API 令牌后，您就可以直接从 OpenShift AI 使用 NVIDIA NIM 模型服务平台来部署模型。
选择合适的模型
在测试不同的大语言模型时，您可以对生成的每个回答进行评分。您还可以设置一个 Grafana 监控面板，用于比较各个模型的评分、延迟和响应时间。然后，您就可以根据这些数据来选择最适合在生产环境中使用的大语言模型。
采用红帽 OpenShift 虚拟化的 15 个原因
了解红帽 OpenShift 虚拟化如何借助一个适用于虚拟机和容器的平台，实现 IT 运维的整合与简化。
