5.2.3 理论界限与根本限制

文档摘要

5.2.3 理论界限与根本限制 5.2.3 理论界限与根本限制：当对抗训练撞上泛化能力的“玻璃天花板” 你有没有遇到过这样的情况？——在干净测试集上模型准确率高达95%，但只要加上一点精心设计的对抗扰动，性能就断崖式下跌到30%以下。于是你祭出对抗训练（Adversarial Training）这把“屠龙刀”，结果却发现：模型在对抗样本上的鲁棒性确实提升了，但在干净数据上的泛化能力却显著下降了。更令人沮丧的是，无论你怎么调参、换架构、加正则，似乎总有一道看不见的墙横亘在鲁棒性与泛化能力之间。这不是你的错觉，也不是工程实现的疏漏。这是深度学习在对抗环境下遭遇的理论根本限制——一个由信息瓶颈、优化景观和样本复杂度共同构筑的“玻璃天花板”。