8.3.1 变分信息瓶颈（VIB）

文档摘要

8.3.1 变分信息瓶颈（VIB） 8.3.1 变分信息瓶颈（VIB）：深度学习中的信息炼金术在深度学习的工业实践中，我们常常面临一个看似矛盾的困境：模型既需要捕捉输入数据中尽可能丰富的特征以提升预测精度，又要防止过度拟合那些与任务无关的“噪声”或“细节”。传统的正则化方法，如权重衰减（L2正则化）或 Dropout，虽然在一定程度上缓解了过拟合，但它们往往缺乏严密的理论支撑，更多地依赖于工程经验的直觉。变分信息瓶颈（Variational Information Bottleneck, VIB）的出现，为这一难题提供了一个优雅且极具理论深度的解决方案。它不仅是一种正则化技术，更是一种从信息论视角重新审视深度学习表征学习的范式。