可理解性是什么？人能不能看懂模型为什么这样判断

可理解性（Understandability），常与可解释性、透明性等说法一起使用，是指人类能够理解一个机器学习模型是如何工作的、它为什么会做出某个判断的程度。一个可理解性高的模型，人们可以看懂它的推理过程，知道哪些因素影响了它的决策；一个可理解性低的模型，则像一个“黑箱”，只知道输入和输出，却不知道中间发生了什么。

为什么可理解性很重要

建立信任：医生在采纳 AI 给出的诊断建议之前，需要知道它是根据影像中的哪些特征做出判断的；如果完全不知道原因，很难放心地使用。发现错误和偏见：一个经典的例子是，研究者曾发现一个区分哈士奇和狼的图像识别模型，实际上主要是根据背景中有没有雪来做判断的，因为训练数据中狼的照片大多有雪。如果不去理解模型，这种错误很难被发现，模型可能在实际使用中犯下荒谬的错误。在贷款审批、招聘筛选等场景中，理解模型还能帮助发现它是否对某些群体存在不公平的对待。满足法规要求：很多法律法规要求，对个人产生重大影响的自动化决策应当可以解释。比如银行拒绝了一份贷款申请，需要能够告诉申请人原因。我国的《个人信息保护法》规定，通过自动化决策方式作出对个人权益有重大影响的决定，个人有权要求说明。改进模型：理解模型的弱点，才能有针对性地改进它。获得新知识：在科学研究中，理解模型发现了什么规律，可能带来新的科学认识。

不同模型的可理解性

一些模型本身就比较容易理解：线性回归和逻辑回归，每个特征的系数直接表明了它对结果的影响方向和大小；决策树，可以把它的判断过程画成一系列清楚的“是非题”；基于规则的系统，每一条规则都是人类可以读懂的。而深度神经网络、大型的集成模型等复杂模型，虽然效果往往更好，但内部有成千上万甚至数千亿个参数，它们的决策过程非常难以理解。这就形成了一种常见的权衡：效果更好的模型往往更难理解。

提高可理解性的方法

对于复杂的模型，研究者发展了多种事后解释的方法。特征重要性：评估每个特征对模型整体预测的影响有多大。SHAP：基于博弈论中的沙普利值，计算每个特征对某一个具体预测的贡献，被广泛使用。LIME：在某个样本附近，用一个简单的、可理解的模型去近似复杂模型的行为，从而解释这一个预测。显著性图：对于图像识别模型，用热力图标出图像中对模型的判断影响最大的区域。反事实解释：告诉用户“如果某个条件改变了，结果就会不同”，比如“如果年收入再高两万元，贷款就会被批准”。对于大语言模型，让模型展示推理过程是一种方式，但研究发现模型写出的推理过程并不一定完全反映它内部真实的计算。机制可解释性是一个新兴的研究方向，试图像解剖大脑一样，深入分析神经网络内部的神经元和线路分别表示了什么概念、执行了什么计算，Anthropic 等机构在这方面开展了大量的研究。