- 文集信息
- 目录大纲
- 最新文档
- 知识宇宙
文集详情
文集导读
信息论：给消息称重的科学
为什么信息也可以像货物那样称出重量？通信工程师每天面对的，正是这样看不见的信息天平：左盘放消息，右盘放砝码，读数以比特计。噪声、带宽与功率，则是天平自带的摩擦与误差，它们决定了刻度能有多细、称量能有多准。要读懂从压缩软件、固态硬盘到移动通信、机器学习的现代技术底座，得先弄明白这台天平的构造原理。
这套教程用统一的视角讲完信息论的核心体系：把每条消息看作待称的货物，把熵看作砝码上的刻度，把信道容量看作天平的最大承重。压缩，是在不摔坏货物的前提下给包裹减重；纠错编码，是给易碎品加防漏的包装工艺；分离原理，回答的是"先减重再加包装"与"一步到位"哪个更划算；网络信息论，研究的是多台天平如何联合作业；语义通信，则把秤从比特换成了含义。整个信息论，就是围绕这台天平展开的度量衡科学。
全册知识地图：信息量天平
下面这张地图画出九章之间的依赖关系：先立天平（概念与模型），再造砝码（度量），然后进入减重（源编码）与承重（信道编码）两条主线，最后合流到分离与联合、网络化、跨域应用与实践前沿。
这套教程讲什么
信息论是香农在一九四八年搭建的理论体系，回答通信里最根本的几个问题：信息有多少，能不能压一压，噪声里能不能传得可靠。它不是通信工程的经验总结，而是一套先证明极限、再让工程去逼近极限的数学。正因为它先给出"最好能做到哪"的读数，后来的工程师才有方向：压缩算法逼近熵，纠错码逼近容量，整个数字通信产业都在香农画定的刻度内作业。
本册九章的分工如下。第 1 章立起天平模型，讲清信息论要解决的问题与历史来路；第 2 章打造砝码，从自信息、熵一路讲到互信息与相对熵，这是全册的数学地基；第 3 章进入减重车间，讲无损压缩的极限与霍夫曼、算术编码的工艺，再讲有损压缩的速率失真理论；第 4 章做承重检测，从信道模型讲到香农第二定理，再到汉明码、LDPC、极化码这些逼近极限的工艺；第 5 章讨论拆秤与合秤，即分离定理何时成立、反馈与 MIMO 带来什么增益；第 6 章把视野从点对点扩展到秤网，讲多用户信道与分布式信源编码；第 7 章走向称量的疆界，覆盖通用编码、量子信息论与信息年龄；第 8 章是应用场，从深空通信、存储压缩讲到机器学习与密码学；第 9 章收束到工程师手册，提供可运行的 Python 演算、设计守则，并以语义通信与开放问题收尾。
适合谁读、怎么读
读者只需要概率论基础：会算期望、知道条件概率，就能跟得上推导；每章的代码用 Python 把公式落到数字上，不需要额外装冷门库。想走理论线的读者按章序读即可，依赖关系与地图一致；只关心压缩与纠错工程的读者，可以在第 2 章之后直接跳第 3、4 章，再回看第 5 章的分离讨论；做机器学习的读者，第 2 章的互信息与第 8 章的信息瓶颈是重点。
每章开头有一张叙事主线图与一段"本章跟着哪条线走"的导读，每节开头一百字内会交代本节承上启下的位置。文中所有数值结论都附了可复算的演算过程——信息论最迷人的地方，恰恰是它的每个极限都能亲手算出来。章节之间允许跳读：地图上的箭头是依赖而非围墙，缺哪块背景回翻对应小节即可。带上你的计算器，我们开始称量。
目录大纲
最新文档
知识宇宙
正在加载知识图谱...