2.1.1 离散自信息：$I(X=x)=-\log p(x)$

文档摘要

2.1.1 离散自信息：$I(X=x)=-\log p(x)$ 2.1.1 离散自信息：$I(X=x)=-\log p(x)$ 在信息论的宏伟殿堂中，自信息（Self-information）并非仅仅是一个枯燥的数学定义，它是衡量“惊奇度”的标尺，是数据压缩的物理极限，更是现代机器学习算法中损失函数构建的逻辑起点。当我们谈论离散随机变量 $X$ 取某个特定值 $x$ 时所包含的信息量，我们实际上是在量化这个事件发生时带给观察者的“消除不确定性”的程度。从“惊喜”到量化：自信息的直觉构建作为技术专家，在深入代码与公式之前，我们必须建立起对自信息的物理直觉。想象一下，你正在维护一个分布式系统的监控告警模块。