2.3 互信息与相关度量

文档摘要

2.3 互信息与相关度量 2.3 互信息与相关度量：信息交互的深度解构在理解了香农熵（Entropy）作为度量单一信源不确定性的基石之后，我们自然会产生一个更具工程意义的追问：当两个系统或随机变量发生交互时，信息是如何在它们之间流动的？如果说熵是刻画孤立系统状态的“绝对标尺”，那么互信息（Mutual Information, MI）则是衡量系统间关联、耦合与通信效能的“相对权重”。在本章中，我们将跳出单一变量的维度，进入信息论中最引人入胜的领域——研究变量间的协同关系。互信息不仅是通信理论中信道容量定义的灵魂，更是现代机器学习、统计推断乃至生物神经科学中衡量“相关性”最纯粹、最本质的度量方式。它超越了线性相关的局限，能够捕捉到变量间任何形式的统计依赖。 2.3.