信息熵是什么？衡量不确定性有多大的量

信息熵（Information Entropy），也叫香农熵，是用来衡量一个随机事件不确定性有多大的量。它由美国数学家、信息论之父克劳德·香农在 1948 年发表的论文《通信的数学理论》中提出，是信息论最核心的概念，也在机器学习中被广泛使用。

直观理解

不确定性越大，我们得知结果时获得的信息就越多。比如抛一枚均匀的硬币，正反面各一半，结果最难预料，不确定性最大；而一枚两面都是正面的硬币，结果完全确定，不确定性为零，告诉你结果也没有带来任何新信息。再比如预测天气：在一个几乎天天下雨的地方，听说“明天下雨”没什么信息量；在一个很少下雨的地方，听说“明天下雨”就很有信息量。信息熵就是对这种不确定性的定量度量：它是所有可能结果“带来的信息量”的平均值。

如何计算

一个结果发生的概率为 p 时，它带来的信息量定义为 p 的对数取负数，概率越小，信息量越大。信息熵等于每个结果的概率乘以它的信息量，再全部加起来，也就是各个概率乘以其对数之和的负数。当对数以 2 为底时，熵的单位是比特。几个例子：一枚均匀的硬币，熵是 1 比特；一个均匀的六面骰子，熵约为 2.58 比特；一枚正面概率为 90% 的硬币，熵约为 0.47 比特；一个结果完全确定的事件，熵为 0。可以证明，在可能结果的数量固定时，所有结果概率相等的均匀分布熵最大；分布越集中、越偏向某一个结果，熵越小。

在信息论中的意义

香农证明了，信息熵是无损数据压缩的理论极限：平均来说，表示一个信息源产生的每个符号，至少需要它的熵那么多个比特，不可能更少。比如英文文本中字母的出现频率很不均匀，因此可以用霍夫曼编码等方法，给常见的字母分配短的编码、罕见的字母分配长的编码，从而压缩文本。熵还被用来定义信道容量等概念，奠定了现代通信技术的基础。“熵”这个名字借用自热力学，据说是数学家冯·诺依曼建议香农使用的，两者在数学形式上确实非常相似。

在机器学习中的应用

决策树：决策树用信息熵来衡量一个节点中样本类别的“纯度”：如果节点中的样本都属于同一类，熵为 0，最纯；如果各类样本混杂且数量相当，熵最大。选择划分属性时，计算划分前后熵的减少量，也就是信息增益，选择信息增益最大的属性，这是 ID3 算法的核心；C4.5 则使用对其加以修正的信息增益率。交叉熵损失：衡量模型预测的概率分布与真实分布之间的差距，是分类任务和大语言模型训练中最常用的损失函数。KL 散度：衡量两个概率分布之间的差异，等于交叉熵减去熵，被广泛用于变分推断、知识蒸馏和强化学习中约束策略不偏离参考模型。互信息：衡量两个变量之间共享多少信息，用于特征选择等。最大熵原理：在满足已知约束的所有分布中，选择熵最大、也就是做出最少额外假设的那个，由此产生了最大熵模型。在大语言模型生成文本时，调高“温度”会让输出分布的熵增大、结果更多样，调低则让熵减小、结果更确定。