2.2 联合与条件熵

文档摘要

2.2 联合与条件熵 2.2 联合与条件熵：多维信息空间的交互与解构在信息论的宏伟殿堂中，如果说香农熵（Shannon Entropy）是衡量单一随机变量不确定性的标尺，那么联合熵与条件熵则是我们理解复杂系统内部耦合、关联与演化的核心工具。在“2. 信息度量核心”的宏观框架下，我们不仅关注孤立系统的状态，更关注系统各部分之间如何通过“相互作用”来传递或消减不确定性。本章节将作为连接微观概率分布与宏观系统复杂性的关键桥梁，深入剖析联合熵 $H(X,Y)$ 与条件熵 $H(X|Y)$ 的内在逻辑。这不仅是数学公式的推演，更是一场关于“知识如何改变不确定性”的深刻哲学探讨。 2.2.