1.3 信息论与编码理论

文档摘要

1.3 信息论与编码理论 1.3 信息论与编码理论在无线通信系统设计与优化中，信息论和编码理论构成了理解系统性能极限和实现可靠数据传输的基石。信息论由克劳德·香农创立，主要研究信息的量化、存储和通信问题，揭示了在给定信道条件下，可靠传输的最高速率极限。编码理论则在此基础上，研究如何设计有效的编码方案，使得在有噪声或干扰的信道上也能实现接近这一极限的可靠通信。 1.3.1 信息论基础信息论的核心在于对“信息”进行量化。信息量与熵：信息量衡量一个事件发生的意外程度，发生概率越低，信息量越大。对于一个离散随机变量X，其取值为x的概率为p(x)，则该事件的信息量定义为 I(x) = -log₂p(x)，单位为比特（bit）。