可解释人工智能 XAI 是什么？让人看懂 AI 为什么这样决策

可解释人工智能（Explainable AI，XAI）是一组让人类用户能够理解和信任机器学习算法所给出结果的流程和方法。它用来描述 AI 模型、它的预期影响以及潜在的偏差，帮助人们刻画 AI 决策中的准确性、公平性、透明度和结果。

为什么需要可解释性

很多强大的 AI 模型，特别是深度神经网络和大语言模型，被称为“黑箱”：它们有数百万甚至数千亿个参数，即使是开发者，也很难说清它们为什么会对某个输入给出某个输出。在很多场景中，只知道结果是不够的，还需要知道原因。医疗：AI 判断一张影像显示可能有肿瘤，医生需要知道它依据的是影像中的哪个区域、哪些特征，才能决定是否采信。金融：银行用 AI 决定是否批准一笔贷款，被拒绝的申请人有权知道原因，一些法规也要求金融机构能够解释自动化决策。司法和招聘：AI 辅助的决策可能影响人的命运，必须能够检查它是否存在对某些群体的偏见。调试和改进：了解模型为什么犯错，才能有针对性地改进它；有时会发现模型依赖的是错误的线索，比如通过图片背景而不是物体本身来做判断。建立信任：人们更愿意使用自己能理解的系统。

常见的方法

使用本身可解释的模型：比如决策树、线性回归、规则系统，它们的决策过程本身就是透明的，但表达能力往往不如复杂的模型。事后解释：在不改变复杂模型的前提下，用各种方法解释它的决策。特征重要性：评估每个输入特征对结果的影响有多大。LIME：在某个具体的预测附近，用一个简单的模型来局部地近似复杂模型，解释这一次的决策。SHAP：基于博弈论中的沙普利值，公平地计算每个特征对预测结果的贡献，是目前最常用的解释方法之一。显著性图：对图像模型，用热力图标出图片中对决策影响最大的区域，比如 Grad-CAM。反事实解释：告诉用户“如果你的收入再高一些，贷款就会被批准”。

大模型时代的可解释性

对于大语言模型，可解释性研究出现了新的方向：机制可解释性，试图像研究大脑一样“打开”模型，弄清楚模型内部的神经元和电路分别负责什么，Anthropic 等机构用稀疏自编码器从模型中提取出了数百万个可解释的概念特征；以及研究模型写出的思维链是否真实地反映了它的推理过程。随着 AI 被用于越来越重要的决策，欧盟《人工智能法》等法规也对高风险 AI 系统的透明度和可解释性提出了要求。