1.3.2.2 信息论度量 (互信息、min-entropy)

文档摘要

1.3.2.2 信息论度量 (互信息、min-entropy) 1.3.2.2 信息论度量 (互信息、min-entropy) 想象一下，你正蹲在服务器机房里，盯着屏幕上那串NaN值，心想：这互信息怎么就炸了？项目是联邦学习隐私审计，客户数据敏感得像定时炸弹，我们用互信息量化模型从辅助信息中泄露的主隐私风险。结果呢？高维输入下，熵计算直接溢出，度量崩盘。整个团队加班到凌晨，我抓着咖啡，决定深挖信息论的底层，搞定这个“隐形杀手”。今天，我就带你直击这个痛点：互信息数值不稳定的实战优化。不是纸上谈兵，而是我亲手调过的PyTorch代码，能让你明天就抄走复用。痛点直击：为什么互信息总在高维隐私场景下“翻车”？回想那次故障。