文档摘要

信息论 信息论对信息、意外程度以及概率分布之间的差异进行量化。本文件介绍熵、交叉熵、KL 散度、互信息和自信息——这些概念是机器学习中每一个分类损失函数、VAE 目标函数和数据压缩方案背后的基础。 信息论由克劳德·香农（Claude Shannon）于 1948 年创立，为我们提供了一套量化信息的数学框架。它能回答这样的问题：你对一个事件应该有多意外？一条消息携带了多少信息？两个概率分布有多大差别？ 这些问题听起来抽象，但它们是 ML 损失函数、数据压缩和通信系统的基础。交叉熵损失——分类中最常见的损失函数——就直接来自信息论。 从最简单的问题开始：单个事件携带了多少信息？ 自信息（surprisal，也叫 self-information）度量一个事件有多令人意外。

---