红帽全球峰会对于一般用途的 AI 用例，大语言模型（LLM）只要能够理解广泛数据中的模式和关系，通常就足够了。但若要获得竞争优势，企业需要利用自身特有的领域专业知识，也就是“独门秘籍”。企业在特定领域内开展业务，因此需要量身定制的 LLM 来充分利用其分类、技能和知识。
这样一来，问题就变成了：为了获得竞争优势，应该如何调整通用 LLM，才能处理特定的用例、知识领域、行话、客户输入等内容？如何以经济高效的方式实现这一点？理想情况是从小规模着手，快速发展并持续为业务提供价值。
这可以通过多种方式来实现，包括提示词调优和检索增强生成（RAG），但为了克服这些技术的局限性，我们还需要考虑微调，即通过特定数据集或任务调整预训练模型的过程，以提高模型在特定应用领域的性能。
不过，微调和 LLM 优化也会带来一些挑战，包括：
- 要对 LLM 进行微调以了解特定领域的知识，通常需要进行成本高昂的资源密集型训练
- LLM 优化通常需要大量精挑细选的人工生成数据，而获取这些数据可能既耗时又成本高昂。这些数据还可能会带来安全和隐私问题
- 微调需要数据科学家的参与，而数据科学家的成本日益攀升，并且人才难寻
红帽 AI 如何提供帮助？
红帽 AI 可提供量身定制的小型模型、高效的定制方案以及随时随地灵活开发和部署的能力，助力企业加速拥抱 AI。红帽 AI 产品组合包括红帽企业 Linux AI（RHEL AI）、红帽 OpenShift AI、加速器和服务，可为客户提供全面的功能。
RHEL AI 旨在开发、测试和运行生成式 AI（gen AI）基础模型，并包含一个 InstructLab 版本。InstructLab 是一个社区驱动的项目，可让开发人员更轻松地试验 IBM 的 Granite LLM。
关于 InstructLab
InstructLab（LAB）基于 IBM 研究院在聊天机器人大规模对齐方面的研究成果。LAB 方法包括三个阶段：
- 数据管理：这种协作式方法面向没有经过数据科学培训或不具备数据科学经验的主题专家。通过采用 LAB 方法，这些非数据科学家可以贡献经过整理分类的特定领域的知识和技能。
- 大规模合成数据生成：使用模型基于精选数据生成更多示例。使用此类合成数据的做法十分有价值，可以影响模型并拓展模型可用的领域知识。这些数据本身也是宝贵的资产，此外，其自动生成过程兼具经济学和安全性，并且不包含任何个人身份信息（PII）。
- 迭代式大规模调优：最后，根据生成的合成数据重新训练模型。LAB 方法包括两个调优子阶段：知识调优和技能调优
通过采用 LAB 方法，模型不仅可以保持来自原始 LLM 训练的原始生成能力和准确性，还能习得新技能。
从小规模着手，逐步扩展
红帽 OpenShift AI 提供一个在企业环境中运行 LAB 方法的平台。OpenShift AI 是一个开源 AI 平台，可帮助管理 AI 模型以及依托 AI 技术的应用的生命周期。它提供用于开发模型和自动执行 AI 流程的服务（例如特征管道、模型训练和调优），并包含用于实验跟踪、模型版本控制和整体监控的开箱即用服务。OpenShift AI 利用并支持大量热门开源项目。对于 LAB 方法，我们具体采用以下项目：
- 数据科学管道（DSP）：一项基于 Kubeflow 管道的服务，用于构建和部署可移植且可扩展的 AI 工作流
- Kubeflow Training Operator （KFTO）：用于进行微调以及进行可扩展、分布式模型训练的 Operator。
红帽使用 DSP 和 KFTO 实现了 LAB 方法的自动化，使整个过程更具可扩展性、效率更高且更易于审计。
借助 DSP，我们可以使用有向无环图（DAG）配置 LAB 微调过程，可视化呈现该过程。不同的阶段和执行状态将以人性化方式呈现，让所有利益相关者都能轻松理解。AI 工程师还可以通过 OpenShift AI 信息面板监控 LAB 方法流程的进度，并查看不同的输出，包括指标和经过调优的模型本身的输出。这些内容都会自动进行版本控制和跟踪，因此 AI 工程师和数据科学家在迭代和修改参数与资源时，可以方便地比较模型性能的变化。
借助 KFTO 与 DSP 之间的集成，数据科学家和机器学习运维（MLOps）团队可以通过经济高效且可扩展的方式，充分利用现有 OpenShift 集群的强大功能。根据所需的投资，企业可以配置资源配额以及启用 GPU 的 OpenShift 工作节点数量来运行训练阶段。KFTO 会代表用户管理这些资源的可扩展性，确保资源得到高效利用。此外，OpenShift AI 还提供适配不同用户的 UI，帮助主题专家、数据科学家和 AI 工程师实现协作。
详细了解 OpenShift 上的 DSP 数据科学管道，并阅读红帽开发人员博客上的如何使用 Kubeflow Training Operator 对 LLM 进行微调，开启您的可扩展微调之旅。
