第2章 砝码与刻度：信息的度量

第 2 章 · 砝码与刻度：信息的度量

章节摘要：本章跟着一枚砝码的铸造过程走——从单个事件的"惊讶度"（自信息），到整批消息的平均重量（熵），再到两件货物之间的重量重叠（互信息）。这是全册的数学地基，后面所有极限定理都建立在这几枚砝码上。

一条主线

想象化验室收到一批矿石样本，要建一套称量规程。第一步得定义"单块矿石有多重"——对应到信息论，是单事件的自信息：越罕见越重，对数刻度保证两块独立矿石的重量可加。第二步要给整批样本定平均重量——这就是熵：按概率加权的平均自信息，一枚能称出"整个信源不确定程度"的总砝码。

但通信是两端的事：发送端有一批货，接收端收到的是经过信道扰动的另一批货。于是需要第三步——比较两批货物的重量重叠部分。联合熵称两批货合起来的总重，条件熵称"已知一批后另一批还剩的不确定度"，互信息则直接量出重叠本身：观测接收端能让发送端的不确定度消减多少。最后，相对熵（KL 散度）给出"用一套错误的砝码称量所产生的偏差"，它是检验模型、比较分布的通用量具。本章三节就按这条铸造流水线推进。

砝码家族的关系图

沿途站点

二点一 自信息与熵：给单条消息定重量。定义对数刻度的自信息，推导熵的极值与对称性质，用代码算出均匀、倾斜、退化三种分布的读数对照，并澄清信息熵与热力学熵的形式同源关系。这一站的产出是"每个符号平均多重"的严格答案。

二点二 联合熵与条件熵：批量消息的称量术。把秤扩展到两个随机变量：联合分布表怎么读、链式法则怎么拆、条件作用何时减少不确定度。这一站的天气与通勤例子会算出一条反直觉的结论——知道天气确实减少了对通勤方式的疑心，但减少得比想象中少。

二点三 互信息与相对熵：天平两端的对照读数。定义互信息的三种等价形式与它的对称性，引入 KL 散度并演示其非对称性，最后推出数据处理不等式：任何对数据的加工都不会增加互信息。这一站是通往信道容量的直接桥梁——容量不过是互信息在输入分布上的最大值。

拐点与结论

本章最大的认知拐点有两个。第一个在二点一：熵的极值出现在均匀分布——很多人直觉上以为"乱七八糟"的分布信息少，恰恰相反，无规律才是最大不确定度，规律（倾斜、相关、记忆）都让熵下降，而所有压缩空间正是熵下降腾出来的。第二个在二点三：互信息天然对称——"X 含有关于 Y 的信息"与"Y 含有关于 X 的信息"数量相等，因果方向在这个度量上是盲的。这个盲区后来由因果推断领域专门处理，但在通信场景它恰好是优点：信道两端的对称性让容量定义不必区分方向。

另一个值得记下的结论：数据处理不等式为所有"加工"定了性——滤波、量化、特征提取，每道工序都只会让互信息持平或下降，从不上升。机器学习里"垃圾进垃圾出"的通俗说法，在这里有严格版本。

学习本章的方式建议"笔算加机算"：每个公式先用二到四符号的小例子手算一遍（本册各节的示例分布都足够小），再用代码复算并改参数观察读数变化——熵族的直觉（哪个读数会涨、哪个会跌）正是在这种来回里长出来的。三节的依赖关系是单向的，跳读会损失推导的连续性。

读完你应该

• 能从"重量可加、罕见者重"两条朴素要求出发，推出自信息必须取对数形式；
• 能手算二到四符号信源的熵，并说明熵在均匀分布取最大值、在退化分布取零的原因；
• 能用链式法则把联合熵拆成边缘熵加条件熵，并用一张二乘二联合分布表复现全部四种熵的读数；
• 能写出互信息的三种等价表达（熵差、KL 形式、期望形式），并解释其对称性来源；
• 能陈述数据处理不等式并给出一个通信场景与一个机器学习场景的推论。

下一章的接力

砝码铸好后，第一个用武之地是减重车间。第 3 章把熵放到生产线上：香农第一定理将证明熵不仅是平均重量的读数，更是无损压缩码长的不可逾越下界；霍夫曼与算术编码则是贴近这条下界的两代工艺。带着本章的熵公式出发，压缩的极限之旅正式开始。