3.4剪枝总结

文档摘要

3.4 剪枝总结 3.4.1 剪枝现状 &emsp;&emsp;剪枝作为神经网络模型压缩的关键技术，剪枝的理想状态是在消除模型中不必要的权重的同时，还保持了几乎相当于原始状态的网络性能。由于LLM参数较多，微调成本较高，更难达到剪枝的全部效果。剪枝方法可大致分为非结构化剪枝和结构化剪枝。非结构化剪枝涉及删除不相关的参数而不考虑模型的结构。本质上，非结构化剪枝将低于特定阈值的参数设置为零，从而有效消除其影响。这会产生稀疏模型，其中零和非零权重随机分布。另一方面，结构化修剪涉及删除模型的整个部分，例如神经元、通道或层。结构化剪枝的优点是简化模型压缩并提高硬件效率。例如，删除整个层可以降低模型的计算复杂性，而不会在模型结构中引入不规则性。 &emsp;&emsp;迭代/一次性剪枝。