4.2.1 剪枝（Pruning）与稀疏化（Sparsity）

文档摘要

4.2.1 剪枝（Pruning）与稀疏化（Sparsity）在深度学习模型部署的战场上，参数量早已不是荣耀的勋章，而是压在推理延迟、内存带宽与功耗脊梁上的真实重担。一个拥有1.2亿参数的BERT-base模型，在边缘端运行一次前向传播，可能需要消耗超过300MB的激活内存；而ResNet-50在Tegra X2上单帧推理耗时达87ms——这已远超实时视频流（30fps要求≤33ms/帧）的生死线。此时，“剪枝”不再是论文里优雅的数学游戏，它是一把冷峻的手术刀，必须精准切开冗余神经元，不伤核心通路，不扰梯度流，更不能让精度跌出可用边界。我们今天要谈的，不是“剪枝是什么”，而是如何在PyTorch 2.3+与Triton 2.