4.1.1.1 互信息最大化：$C=\max I(X;Y)$

文档摘要

4.1.1.1 互信息最大化：$C=\max I(X;Y)$ 4.1.1.1 互信息最大化：$C=\max I(X;Y)$ —— 从数学理想走向工程实现的容量之梯在通信工程的浩瀚星空中，香农第二定理（有噪信道编码定理）无疑是最为璀璨的恒星之一。它为我们指明了信息传输的终极上限——信道容量 $C$。然而，对于一名身处一线的架构师或算法工程师而言，公式 $C = \max{P(X)} I(X;Y)$ 绝不仅仅是一个优雅的数学定义，它更像是一个充满陷阱的工程挑战。在离散无记忆源（DMC）的背景下，计算信道容量的本质是寻找一组最优的输入概率分布 $P(X)$，使得输入与输出之间的互信息 $I(X;Y)$ 达到极大值。在理想的教科书中，我们通过求导、拉格朗日乘数法能轻易解出对称信道的容量；