可解释性是什么？模型的决策能不能让人理解和信任

可解释性（Comprehensibility，也常称 Interpretability 或 Explainability），指的是人类能够理解一个机器学习模型如何工作、为什么会做出某个判断的程度。本站另有“可理解性”词条讨论这一主题，这里侧重从方法分类和评价的角度来梳理。

全局解释与局部解释

全局解释回答“这个模型整体上是怎么做判断的”：比如哪些特征对模型最重要，模型大致遵循什么样的规律。局部解释回答“模型为什么对这个具体的样本做出这个判断”：比如为什么这笔贷款申请被拒绝了。在实际中，两者都很有用：全局解释帮助开发者和审核者理解、检验模型；局部解释帮助当事人理解与自己相关的决定。

内在可解释的模型

有些模型本身的结构就足够简单透明，人可以直接读懂：线性回归和逻辑回归，每个特征的系数直接反映了它对结果的影响方向和大小；决策树和规则集，判断过程就是一串清楚的“如果……那么……”；广义加性模型，把预测表示为各个特征单独作用的叠加，每个特征的影响可以画成一条曲线。研究者 Cynthia Rudin 主张，在高风险的决策中，应当优先使用这类本身就可解释的模型，而不是用复杂的黑箱模型再加事后解释，因为事后的解释可能并不忠实于模型真实的决策过程。

对黑箱模型的事后解释

对于深度神经网络、大型集成模型等复杂模型，常用以下方法进行解释。特征重要性：比如置换重要性，打乱某个特征的值，看模型效果下降多少。部分依赖图：展示某个特征的取值变化时，模型的预测平均如何变化。SHAP：基于博弈论中的沙普利值，计算每个特征对某一次预测的贡献，满足一些良好的公平性质，被广泛使用。LIME：在要解释的样本附近，用一个简单的线性模型去近似复杂模型的行为。反事实解释：给出“需要改变什么，结果才会不同”，比如“如果月收入再高三千元，申请就会通过”，这种解释对普通人很直观。代理模型：用一棵决策树去模仿复杂模型的整体行为，这与“二次学习”的思路相通。对于图像模型，有显著性图、类激活图等方法，用热力图标出图像中对判断影响最大的区域；对于大语言模型，有注意力分析、探针以及机制可解释性研究等。

如何评价解释的好坏

一个好的解释应该是忠实的，真实地反映模型的决策依据，而不是编造一个听起来合理的理由；应该是易懂的，适合目标受众的知识水平；还应该是稳定的，相似的样本不应得到截然不同的解释。研究发现，一些解释方法对输入的微小变化很敏感，甚至可能被刻意操纵，因此不能盲目地相信任何一种解释工具。

为什么越来越重要

在医疗、金融、司法、招聘等领域，模型的决策直接影响个人的重大权益，需要能够被解释、审查和质疑。我国的《个人信息保护法》规定，通过自动化决策作出对个人权益有重大影响的决定时，个人有权要求说明；《互联网信息服务算法推荐管理规定》也对算法的透明度提出了要求。可解释性也帮助开发者发现模型中的错误和偏见，提升模型的可靠性。