4.2.2 梯度泄露与防御

文档摘要

4.2.2 梯度泄露与防御 4.2.2 梯度泄露与防御：一次被“偷听”的训练，如何用梯度裁剪与加噪守住模型隐私在联邦学习或分布式训练的战场上，模型参数或许从未离开过你的设备，但梯度——那个看似无害的中间产物，却可能成为攻击者窥探你数据的窗口。这并非危言耸听。2019年，Geiping 等人在论文《Inverting Gradients – How easy is it to break privacy in federated learning?》中展示了仅凭一次梯度更新，就能近乎完美地重建出原始输入图像。那一刻，无数工程师意识到：梯度不是噪声，而是信号；不是副产品，而是泄密源。那么，问题来了：我们是否必须在模型性能与数据隐私之间做非此即彼的选择？答案是否定的。