2.2.1 联合熵$H(X,Y)$

文档摘要

2.2.1 联合熵$H(X,Y)$ 2.2.1 联合熵 $H(X, Y)$：多维信息世界的度量衡在信息论的宏大版图中，如果说香农熵 $H(X)$ 是衡量单一随机变量不确定性的标尺，那么联合熵 $H(X, Y)$ 则是我们进入多维复杂系统的首张入场券。作为技术专家，在处理诸如特征工程、多传感器数据融合、甚至是深度学习中的互信息优化时，我们关注的往往不是孤立的数据点，而是变量之间的“共生关系”。联合熵正是描述这种关系的基石，它不仅定义了系统总体的混乱程度，更隐藏了变量间相互作用的深层逻辑。一、联合熵的物理意义与数学定义从直觉上理解，联合熵 $H(X, Y)$ 衡量的是当我们同时观察两个随机变量 $X$ 和 $Y$ 时，系统所表现出的总不确定性。