2.1 自信息与熵定义

文档摘要

2.1 自信息与熵定义 2.1 自信息与熵定义：从不确定性到量化秩序的基石在信息论这一宏伟的科学大厦中，如果说“信息度量核心”是整座建筑的结构支柱，那么“自信息与熵”便是构成这些支柱的微观原子与分子。1948年，克劳德·香农（Claude Shannon）在其划时代的论文《通信的数学理论》中，不仅定义了信息的度量方式，更深刻地揭示了宇宙中某种超越物理实体的逻辑秩序。本章将承接宏观视角，深入微观机理，系统剖析自信息与熵的本质定义，探讨它们如何将模糊的“不确定性”转化为精确的数学表达，并由此构建起现代信息社会的理论基石。 2.1.1 逻辑起点：自信息的本质与测度当我们谈论“信息”时，直觉往往告诉我们：越是出人意料的消息，包含的信息量就越大。