1.3 信息论基础

文档摘要

1.3 信息论基础 1.3 信息论基础信息论由克劳德·香农于20世纪40年代创立，是一门研究信息量化、存储和通信的数学理论。在无线通信和信号处理领域，信息论提供了理解通信系统基本限制、评估性能极限以及指导系统设计的强大框架。它帮助我们回答诸如“一条消息包含多少信息？”、“在有噪声的信道上最快能以多高的速率可靠地传输数据？”等根本性问题。本节将介绍信息论的核心概念，包括信息测度、熵、联合熵、条件熵、互信息以及信道容量，并阐述它们在无线通信信号处理中的重要性。 1.3.1 信息测度与熵信息测度（自信息）信息的本质在于不确定性的消除。一个事件发生的概率越低，它的发生就越出乎意料，所包含的信息量就越大。