2.1.2 熵$H(X)$：期望自信息

文档摘要

2.1.2 熵$H(X)$：期望自信息 2.1.2 熵 $H(X)$：期望自信息在信息论的宏大版图中，如果说自信息 $I(x)$ 是衡量单个事件发生时带给我们的“意外程度”，那么熵 $H(X)$ 则是这种意外程度在整个随机变量分布上的统计平均。作为技术专家，我们不仅要理解它在数学上的优美定义，更要掌握如何在复杂多变的工程实践中，精确地量化系统的无序度或信息容量。从个体意外到全局测度：熵的本质当我们观测一个离散随机变量 $X$ 时，它可能取值于集合 $\mathcal{X} = \{x1, x2, \dots, xn\}$。每一个可能的输出 $xi$ 都携带着自信息 $I(xi) = -\log p(xi)$。然而，在系统设计的视角下，单一事件的偶然性往往不足以描述全局特性。