可解释 AI 的用途是什么？
如今许多企业越来越依赖 AI 系统来做出决策。例如，在医疗卫生领域，AI 可用于影像分析或医学诊断；在金融服务领域，AI 可用于审批贷款和自动化投资。
这些决策会影响人员、环境和系统，并可能会对它们构成风险。透明度和问责制对于在人类与 AI 系统之间建立信任至关重要。与此同时，如果缺乏理解，则可能导致混淆、错误，有时甚至会引发法律后果。
通过优先考虑透明度和可说明性，您能够构建出不仅技术先进，而且安全、公平、符合人类价值观和需求的 AI。
可解释性与可说明性
在 XAI 语境下，可说明性与可解释性常被混用，这容易造成概念混淆。
可解释性（interpretability）指人类理解模型内部逻辑的程度。可解释性描述的是模型自身的状态，并且存在程度上的差异。可解释性较高的模型，其特征本身就容易理解，这意味着即使不是该领域的专家，也能理解模型输入与输出之间的关系。而可解释性较低的模型，其内部运作机制过于复杂，人类难以直接理解。
可说明性（explainability）则描述了生成理由或解释的过程。可说明性通常通过一系列技术手段（即 XAI 技术）来实现，这些技术被应用于复杂模型，用以揭示模型如何以及为何做出某一特定决策。当模型的逻辑过于复杂而无法直接解读时，XAI 技术可帮助您更好地理解模型做出行为背后的原因。
当模型本身具备较高的可解释性，能够提供充分的透明度时，通常就不再需要借助额外的可说明性技术。如果模型缺乏内在透明度、可解释性较低时，则需要借助外部的可说明性手段，以建立对模型的理解和信任。
实施 AI 技术的 4 个关键注意事项
可解释 AI 和机器学习生命周期
机器学习是 AI 应用的核心技术。它是指计算机通过算法从数据中学习并创建模型的过程。在这一过程中，机器（计算机）利用数据和算法进行学习，而数据科学家则通过选择一种或多种训练技术来协助创建模型。
如何训练模型
要创建机器学习模型，您需要满足具备以下三项内容：
1.数据
数据可以是数字、文本、音频文件、视频片段和/或图像。所需数据量取决于待解决问题的复杂程度、数据质量以及所选算法的复杂程度。
如果您选择简单的算法，如线性回归（其目标是在散点图数据中拟合一条直线），可能只需要几十个数据点；而选择的是更复杂的算法（如神经网络），则可能需要数百万乃至数十亿数据点。
2.算法
算法是指计算机学习过程中使用的规则或公式。算法必须明确定义且具有清晰的终止条件。机器学习算法的核心目标是发现数据中的规律，使计算机无需针对每个任务进行显式编程即可做出决策。
某些算法（如决策树）旨在生成可追溯且直观的输出。可以把决策树想象成流程图，结构清晰，易于理解，也便于在必要时进行修正。
再来看随机森林算法。这种算法会训练数百棵决策树，并让每棵树对结果进行“投票”，从而生成最终输出。由于人类几乎不可能逐一追溯数百个流程图的逻辑，这类算法的决策过程几乎无法理解。
3.训练技术
训练技术是指数据科学家在设计、实施和微调计算机学习过程时采用的技术。该学习过程称为“训练”，主要采用以下方法：
- 监督学习：向模型提供一个数据集，其中所有输入数据都已标有正确答案。模型的任务是学习输入数据与其对应标签之间的关系。监督学习有助于预测未来可能发生的情况。
- 例如，为模型提供 10 万张马和熊的照片，并为每张照片正确标注“马”或“熊”。模型将学习识别模式，并最终能准确标注新的照片。
- 无监督学习：向模型提供没有任何标注数据的数据集。模型的任务是自主发现数据中的模式与关联。无监督学习有助于发现数据中原本存在的模式。
- 例如，向模型提供关于顾客购物行为的数据，模型可能会发现购买狗粮的顾客有 60% 的概率会购买适合散步的运动鞋。
- 强化学习：向模型提供一个目标和一组规则，但不提供标注数据。模型的任务是通过与环境交互，并根据自身行为获得“奖励”或“惩罚”来进行学习。强化学习能够帮助提出下一步行动建议。
- 例如，模型可通过下数百万盘对弈来学习国际象棋。有助于获胜的走法会获得“奖励”，而导致失败的走法会受到“惩罚”。这个过程可帮助模型“学会”如何下国际象棋。
当计算机将数据与算法和训练技术结合应用后，一个模型便由此产生。
关于神经网络的说明
神经网络是另一种机器学习算法。它受人类大脑启发，通过称为“神经元”的互连节点组成的多个层级传递数据。数据在通过每层时会被赋予不同的“权重”，这些权重决定了数据如何传递到下一层（以及后续各个层级），最终形成输出。
神经网络通常包含输入层和输出层，有时还包含隐藏层。隐藏层会使模型的透明度降低，当隐藏层规模庞大或模型具有多个隐藏层时尤其明显。当神经网络拥有多个隐藏层时，可将其归类为深度神经网络，其训练方法则称为深度学习。
但隐藏层是如何形成的呢？
隐藏层并非机器自行产生“意识”的结果。它之所以出现，是因为数据科学家在预先设计好的网络结构中，允许模型在各层之间自主建立连接关系。随着训练的进行，这些连接不断被调整，机器最终习得的逻辑可能变得过于复杂，超出人类的理解范围。
什么是“黑箱”模型？
“黑箱”模型是指因过于复杂而难以理解且/或不展示其工作原理的 AI 模型。这就导致无人（包括创建该算法的数据科学家和工程师）能够准确解释模型是如何生成特定输出的。
例如，驱动 ChatGPT 的神经网络之一 GPT-4，在生成单个词语时需执行超过 3 万亿次数学运算。如果您想手动核对运算过程，且每秒只能完成一次计算，则需要耗费 95 年才能复现生成单个词语所需的全部计算过程。在这种情况下，您可以确认输出结果是否正确，但核查内部计算过程几乎是不可能实现的。
“黑箱”模型缺乏可解释性，所以将其用于高风险决策时可能会产生严重后果，尤其是在医疗卫生、交通、安全、军事、法律、航空航天、刑事司法或金融等高风险行业。
您可以将可解释 AI 视为一种透视“黑箱”模型内部运作情况的方法。
那是否所有“黑箱”模型都有害？
“黑箱”系统的神秘性本身并不一定有害。但是，在高风险情境中使用这些模型时，可能会带来重大风险。黑箱 AI 系统可能导致以下问题：
偏见与歧视。 当 AI 系统使用本质存在偏见的数据进行训练时，这些偏见模式很可能会被重复强化。假设有一个招聘工具，它基于企业过去 20 年的“成功”高管招聘数据进行：如果这些高管中大多数为男性，则系统可能会学会对包含女性姓名的简历进行降权处理。
缺乏问责机制。当“黑箱”系统判断失误时，我们无法追溯系统的逻辑模式。这会在有人受到伤害时带来法律层面的复杂性，例如，如果采用“黑箱”系统的医疗设备或自动驾驶车辆导致误诊或事故，判定责任归属（或责任主体）将变得极为棘手。
当开发人员无法理解 AI 系统的内部运作机制时，修复或改进该系统将变得非常困难。决策逻辑处于隐藏状态时，会更难以建立对系统的信任。
“黑箱”与“白箱”
与“黑箱”模型相对的是“白箱”模型。“白箱”模型又称“玻璃箱”模型，指内部运作机制透明的模型。这意味着人类能够追溯从输入到输出的完整决策过程。回到前文提到的可解释性概念：“白箱”模型本身具有可解释性，而“黑箱”模型则需要可说明性手段来理解其决策过程。
既然存在“白箱”模型，为什么还要创建“黑箱”模型？归根结底，这取决于模型的能力与性能。“白箱”模型因内部机制相对简单而更易于解释，但此类模型往往规模较小，计算能力和性能也相对有限。
当“白箱”模型的能力不足或准确性较低，无法生成期望输出时，数据科学家可能会转向“黑箱”解决方案。例如，在训练涉及高度复杂、差异微妙且结构精密的主题领域（如生成式 AI）时，黑箱模型往往更为适用。
可解释 AI 的优势
可解释 AI 有助于用户理解 AI 系统如何得出输出结果。这项技术可以带来诸多益处：
增强信任：要成功实施代理式 AI 等技术，必须在算法与人类之间建立信任。可解释 AI 的主要目标正是帮助用户信任其 AI 应用的输出结果。
降低风险： 借助可解释 AI，您能更精准地评估模型，从而做出更明智的决策，选择出最符合您需求的模型。
优化协作： 拥有可解释模型，将有助于促进跨职能团队的协作。以在医院场景中部署机器学习模型为例，设想数据科学家与临床医生之间的合作过程中，模型预测某位患者存在较高的脓毒症风险，而 XAI 显示促成这一预测的主要因素包括心率升高、血压偏低及血氧饱和度下降。这样一来，临床医生便可理解并验证这一判断，确认模型基于医学上合理的判断依据。
加速故障排除： 当数据科学家能理解模型生成输出时的逻辑时，人类参与者就能更轻松、更快速地进行开发、调试和做出决策。需要注意的是，XAI 并不能加快计算机运行速度——事实上，它还会增加计算方面的开销，——但它确实能为人类节省时间。
更符合监管合规要求：借助可解释 AI，企业能够更好地遵守法规和隐私法律要求。这包括欧盟的《通用数据保护条例》（GDPR），它规定了个人有权了解自动化决策所涉及的逻辑，以及“此类处理对数据主体的重要意义和预期后果”。在这种情况下，XAI 可通过详细说明影响特定结果的数据点和因素，来帮助阐释决策过程。
《加州前沿人工智能透明法案》（TFAIA）要求开发人员发布透明度报告，披露模型风险以及已实施的风险缓解措施。借助 XAI，企业组织能更轻松地识别这些风险。
减少模型偏移：模型性能可能会发生偏移（随着新数据不断引入，模型性能会逐渐退化）。借助 XAI，您可以分析模型，并在模型发生偏移且输出偏离预期时生成警报。
可解释 AI 的挑战和局限
可解释 AI 领域正在不断发展，以跟上 AI 技术快速演进的步伐。实施 XAI 虽有必要，但现有解决方案尚不完善。需注意的局限性包括：
输出的技术复杂性。 当前的 XAI 方法技术门槛极高，主要面向 ML 专家而非普通用户。要想解决这一问题，需要进行更多技术方面的教育和培训，或以通俗易懂的方式解释复杂问题。
计算成本较高。 运行 XAI 技术的成本十分高昂，因为解释算法需进行大量计算才能理解模型生成特定输出的原因。这可能意味着需要将模型运行数千次，才能理解生成单个预测的过程。
安全风险。 如果为了理解模型而打开“黑箱”，可能会暴露模型在安全层面上的弱点，这可能会造成系统漏洞，使恶意行为者得以操纵系统，并通过逆向工程找到突破安全防护的途径。
理解与信任
理解某个过程的运作机制，并不等同于信任该过程。您可以清楚地知道滑板的结构和原理，却仍然不敢去踏板滑行。
这就引出了“信任”的问题：过度信任 AI 是否可能带来危害？保持怀疑态度是有益的，对系统过度信任可能会让您在毫无防备时暴露于潜在错误中。但若对系统缺乏足够信任，您可能会错失系统所能带来的益处。
可解释 AI 旨在帮助用户校准对 AI 系统的信任程度。当 XAI 提供足够有意义的背景和依据时，用户便能自主决定对系统的信任程度。
如何实施可解释 AI
要实施 XAI，需要在整个机器学习生命周期（从最初的模型设计到上线后的监控与评估）投入更多透明度。需要注意的是，对于 ML 或 AI 算法的输出，并不存在一种放之四海而皆准的解释方式。具体采用哪种可解释性方法，取决于模型构建方式以及最终用户类型。在选择 XAI 方法时，需要考虑以下因素：
全局与局部 XAI 模型：需要解释到什么程度？
- 全局解释用于帮助理解模型整体的决策逻辑和普遍规律。例如，在贷款审批预测模型中，全局解释可能会这样表述：“该模型倾向于批准信用评分高的申请人。”
- 局部解释则会详细说明影响模型单次决策的具体因素。以同一贷款审批模型为例，局部解释可能会这样表述：“John Smith 于 11 月 19 日被拒绝贷款，原因是他的信用评分为 520 分且年收入低于 35,000 美元的门槛。”
直接与后验 XAI 模型：您的模型是如何提供解释的？
- 直接模型从一开始就能生成透明且可追溯的结果，如同“白箱”模型。
- 后验模型最初并未被设计为可解释模型，通常属于“黑箱”模型。但可以在模型训练完成后，通过应用特定算法来洞察其工作原理。这些算法有助于分析模型输出并生成解释：
- LIME（局部可解释的模型无关解释）是一种通过操纵输入数据来生成一系列略微不同的人工数据的技术。LIME 将这些人工数据输入模型并观察输出结果，再构建可解释的“替代模型”，以帮助解释“黑箱”模型的原始预测。
- SHAP（基于 Shapley 值的加性解释方法）是一种基于合作博弈论的方法，它计算每个输入变量的贡献，并考虑所有可能的变量组合。它以统一的方式展示各个变量对模型输出的贡献，并指出哪些变量在推动预测结果。
数据与模型 XAI 模型：您需要哪种类型的解释？
- 数据模型侧重解释输入数据如何影响预测结果。
- 模型 XAI 模型侧重解释模型的内部运作机制。
这些 XAI 方法的选择和应用，应当以负责任的 AI 实践为前提，例如道德准则、透明度和偏见缓解，才能促进构建值得信赖、能造福社会的 AI 系统。
Artificial Intelligence (AI)
See how our platforms free customers to run AI workloads and models anywhere
