信息论——度量信息的数学

文档摘要

信息论——度量信息的数学兔狲教授的提示：信息是物理世界之外的另一个基本量。信息论不仅告诉我们如何高效地存储和传输信息，更重要的是，它提供了度量信息、不确定性和知识的数学框架。从数据压缩到通信编码，从机器学习到量子计算，信息论是现代数字世界的基石。词条1：信息熵——不确定性的度量官方解释信息熵：离散随机变量 $X$ 的熵 $H(X) = -\sum{x\in\mathcal{X}} p(x) \log p(x)$。性质：非负性：$H(X) \ge 0$ 最大值：当分布均匀时熵最大可加性：独立随机变量的联合熵等于熵的和直观理解：熵度量了随机变量的不确定性或'惊喜程度'。