第4章 承重检测：信道与容量

第 4 章 · 承重检测：信道与容量

章节摘要：本章跟着一条"称出天平最大承重"的检测线走——先定义信道容量（容量即互信息的最大值），再让香农第二定理划出可靠传输的边界线，最后检阅从汉明码到极化码、一代代逼近这条线的纠错工艺。

一条主线

减重车间把包裹压到最轻，可再轻的包裹也要过桥。桥的承重是多少？第 2 章铸好的互信息砝码在这里迎来最重要的应用：信道容量定义为"互信息在所有输入分布上的最大值"——你调整货物的摆放方式（输入分布），天平两端能对上的最大读数就是这条信道的极限承重。这个定义的漂亮之处在于它把"信道能传多少"与"你怎么喂它"合并成一个优化问题，而香农证明了这个读数就是可靠传输的临界点。

检测线的第二站是最惊心动魄的定理：只要传输速率低于容量，就存在编码让差错概率任意接近零；高于容量，无论怎么编码差错都无从压制。注意这个结论的惊人之处——噪声明明存在，差错却可以被"稀释"到任意小，代价不是提高功率，而是拉长码字、让统计规律替你纠错。第三站是工艺检阅：汉明码、卷积码、turbo 码、LDPC、极化码，六十年工程史就是从"离容量很远"走到"贴着容量作业"的历史。

承重检测线的三个工位

沿途站点

四点一 信道模型与容量：天平的最大承重。把第 1 章的信道黑盒拆成条件概率分布，用互信息定义容量；推出 BSC 的容量公式（一减去翻转概率的二元熵），给出 AWGN 信道的香农-哈特利公式并用代码算出容量-信噪比曲线；换算分贝与常用工程数字。

四点二 香农第二定理：可靠传输的边界线。讲清正定理的随机编码证明思路（联合典型性与"球体装箱"的图像）、逆定理的法诺不等式论证；用重复码的数值实验展示"朴素的可靠"为何昂贵，从而衬托随机编码思想的锋利。

四点三 纠错码工艺：从汉明码到 LDPC 与极化码。完整实现汉明码的编码与伴随式译码并在 BSC 上实测增益；检阅卷积码与维特比译码、turbo 码的迭代译码、LDPC 的置信传播、极化码的信道极化，各自在逼近容量的路上贡献了什么。

拐点与结论

本章的认知拐点在于**"可靠"是渐近概念**。香农第二定理不承诺任何有限码长的完美传输——它承诺的是码长增长时差错概率指数衰减。这个"用长度换可靠"的交易彻底改变了工程思路：与其在单个比特上较劲，不如把成千上万个比特捆在一起让噪声在统计上自我抵消。通信工程师从此把注意力从"每一比特的波形"转向"整个码本的统计结构"。

第二个拐点是容量边界的双向性。低于容量，可靠性几乎免费（码长足够即可）；高于容量，再多聪明才智也无济于事。这条线的存在让"提速"有了严格含义——想超过容量，只能改造信道本身（加功率、加带宽、加天线，后者正是第 5 章 MIMO 的主题），而不是改造编码。

读完你应该

• 能写出容量的互信息定义，解释"优化输入分布"这一步在工程上对应什么（功率约束、星座整形）；
• 能手算 BSC 在若干翻转概率下的容量，用香农-哈特利公式估算给定带宽与信噪比下的上限；
• 能复述香农第二定理的双向表述，并用"随机码本+联合典型译码"的图像讲出正定理的证明思路；
• 能说明逆定理中法诺不等式如何把"差错率低"翻译成"条件熵低"，从而逼出速率上限；
• 能从零实现汉明（七，四）码的编码与译码，实测其在 BSC 上的差错率下降，并说出三代现代码各自的逼近机理。

下一章的接力

容量边界立好之后，一个体系性问题浮出水面：减重车间与承重工艺能不能彻底分开各干各的？第 5 章的分离定理给出肯定答案及其成立条件，随后考察反馈与多天线如何"改造信道本身"以提高承重——那是与"改造编码"完全不同的另一条增益路线。本章三节严格递进，建议按序读完再进入下一章。