4.2.2 信息瓶颈 (Information Bottleneck) 理论

文档摘要

4.2.2 信息瓶颈 (Information Bottleneck) 理论在深度学习的浩瀚星图中，我们常把神经网络比作一条奔涌的信息河流——输入数据是上游的雪水，层层卷积与非线性变换是蜿蜒的峡谷与湍流，而最终输出则是下游沉淀下来的、可供决策的“意义结晶”。但这条河究竟该冲刷掉什么？又该挽留什么？传统监督训练只盯着下游的预测误差（如交叉熵），却对中间表征的“信息纯度”视而不见。直到2018年前后，当Tishby团队将Shannon信息论的古老刻度尺重新嵌入深度神经网络的解剖切片中，一个沉寂三十年的理论——信息瓶颈（Information Bottleneck, IB）——骤然迸发出惊人的工程生命力。