什么是 MLflow？

MLflow 是一款管理工具，可帮助开发人员有序管理机器学习（ML）和 AI 项目从早期实验到上线部署的整个流程。它提供了统一的平台，可对传统预测性模型乃至现代 AI 智能体进行全生命周期的跟踪、审计和管理。 

作为一款不受供应商限制的开源工具，MLflow 可以在任何环境中运行（本地或您选择的云提供商平台），并且能够与大多数主流 ML 框架集成。正是这种灵活性，使 MLflow 深受个人开发人员与企业的青睐。

探索红帽 AI

在生成式 AI（gen AI）兴起之前，机器学习主要应用于预测性任务，如预测分析、异常标记和数据分类。即便在当时，数据科学团队仍缺少用于跟踪实验和部署模型的标准工具，只能通过电子表格、个人笔记和互不相连的脚本记录模型迭代。 

大型科技公司可以使用内部专有系统，但当时还没有开源方案。因此，许多项目无法顺利从实验阶段过渡到实际上线运行阶段。 

Databricks 开发了 MLflow 来解决这一问题，之后将其捐赠给了 Linux® 基金会。这为技术行业提供了一系列开源工具，可以为 ML 生命周期的各个阶段提供支持：

• 测试阶段：MLflow 取代了零散的手动记录，提供跟踪功能与提示词注册表，完整记录每一处参数变更、代码版本与更新内容。对于生成式 AI 应用，团队可以利用提示词注册表测试不同的提示词。从而在上线前运行自动化评估（或使用 LLM 评审），对生成内容的准确性和幻觉风险进行评分。 
• 移交阶段：MLflow 取代了人工交接流程，并将代码打包为标准化容器，使其可在任意环境以相同的方式运行。在资产从测试阶段推进到生产阶段的过程中，模型注册表可作为其版本历史和审批情况的权威记录。
• 发布阶段： 模型在注册表中通过审批后，MLflow 会将保存的资产转换为表述性状态传递应用编程接口（REST API）或标准容器，以便更快地集成到应用或服务器中。对于生成式 AI 应用，AI 网关可充当流量控制器，负责 API 密钥管理与数据路由。 
• 监控阶段： MLflow 提供追踪和评估工具，用于衡量实际运行中输出的准确性，并检查智能体的多步推理过程。

观看演示：利用 MLflow 实现智能体应用的追踪和可观测性

MLflow 将其功能划分为面向传统 ML 和现代生成式 AI 的不同工具：

面向传统 ML 和深度学习的功能

• 模型跟踪： 一种自动化日志记录机制，可在测试和研究阶段的每次训练模型时，记录代码版本、参数、性能指标以及图表。 
• 模型打包：一种标准化打包格式，将模型及其运行所需的所有软件依赖项打包在一起，确保模型在任何环境中都能以可预测的方式运行。 
• MLflow 模型注册表： 一个集中管理中心，用于随着项目日趋成熟，持续跟踪审批情况和状态转换。模型注册表会成为可信的信息依据，并链接回模型跟踪中记录的原始实验，从而支持审计追溯。
• 模型部署： 一组模型服务工具，可将保存的模型转换为 Web 服务（REST API）、容器或推理管道。 
• 模型评估：一个能够自动计算准确性指标并为经过训练的模型生成性能图表的框架。 

面向生成式 AI 和智能体 AI 的功能

• MLflow 追踪：一种与 OpenTelemetry 兼容的可观测性工具，可通过记录输入、输出、工具选择和词元成本来直观呈现 AI 智能体的“思考过程”。 
• LLM 评估：也称为“LLM 评审（LLM-as-a-Judge）”，此功能使用辅助语言模型来检查项目生成内容的质量。它可用来检测偏见，并对模型输出设置护栏。 
• MLflow 提示词注册表：一个专门用于跟踪、管理和整理提示词模板的工作空间。 
• MLflow AI 网关：可集中跟踪和路由经由 API 密钥及外部提供商传输的数据。它还有助于管理预算并实施速率限制。 
• MLflow MCP 服务器： 可作为连接点，让 AI 应用和编码助手能够使用模型上下文协议（MCP）与外部数据源和工具进行交互。 

MLflow 采用不依赖于任何特定框架的设计，这意味着它几乎可以与开发人员或数据科学家想要使用的任何工具搭配使用。PyTorch、LangChain、Docker 等主流框架和工具都能集成到 MLflow 生命周期的各个阶段。 

了解 MLflow 如何支持 AI 可观测性

MLflow 不仅可减轻开发人员和数据科学家的工作负担，也能满足负责构建企业 AI 解决方案的 IT 主管的需求。MLflow 的后台治理能力有助于保护用户隐私、在发布前发现错误，并保障可靠的正常运行时间。这使 IT 决策者能够在多个关键领域掌控其 AI 基础架构： 

• 数字主权：企业可以将 MLflow 完全部署在本地、私有云网络或物理隔离的系统中。敏感数据可以保留在企业组织的安全边界内，而不必经由第三方供应商导出。 
• 监管合规： 金融、医疗、法律等部分行业，需要对自动化决策过程中的每一个步骤进行记录和说明。MLflow 可以记录这些信息，并提供完整的审计跟踪和沿袭元数据，使合规团队能够全面了解输出结果的生成过程。这种透明度有助于推进可解释 AI 和主权 AI 相关工作。 
• 集中式成本控制：借助 AI 网关，IT 团队可以将所有外部 AI 流量（即智能体、语言模型与外部工具之间流动的所有数据）路由至单一检查点。这样一来，企业组织便可以设置预算限额，管理 API 密钥与 MCP 连接，并跟踪各团队的支出。

红帽® AI 旨在通过 vLLM 驱动的服务器实现快速、灵活且高效的推理。它能将模型与企业数据可靠地连接起来，让您可以在统一平台上集中开展专用 AI 智能体的定制与开发。依托开源基础，红帽的产品能够帮助企业在任意规模下，对 AI 工作流实现端到端的全面掌控。 

红帽 AI 产品组合包含红帽 AI Enterprise：这是一个用于在任何基础架构上部署、管理和扩展 AI 推理、智能体 AI 工作流及 AI 赋能应用的平台。

探索红帽 AI