8.3 机器学习与 AI：信息瓶颈视角
文档摘要
8.3 机器学习与 AI：信息瓶颈视角 本节摘要：把机器学习的主流工具接进信息论族谱——交叉熵损失是逐词条件熵分解的直接后代；互信息做特征选择与表征评估的用法与估计偏差陷阱；信息瓶颈理论如何把"学习"重述为"压缩输入、保留标签相关"，以及这条思路在深度学习可解释性上的位置与争议。 训练损失函数的族谱 训练语言模型时最常写的目标叫"交叉熵损失"。这个名字不是巧合——它是信息论的直系亲属。 会员。《8.3 机器学习与 AI：信息瓶颈视角》收录于灏天文库文集《信息论》，原作者/来源：灏天文库，整理自「灏天文库」，提供技术教程、实践指南与问题解决方案，支持在线阅读、全文检索与知识沉淀，助力开发者系统化学习。本站整理收录，版权归原作者/开源协议所有。
评论区
(0)
U