文档摘要

1.2 模型压缩的必要性与挑战 1.2.1 大模型时代的技术瓶颈 随着深度学习技术的飞速发展，大模型已经成为AI领域的主流方向。然而，大模型的规模扩张也带来了严峻的技术挑战，这些挑战直接推动了模型压缩技术的发展。 规模扩张的必然趋势 参数规模激增 历史演进：从早期的百万级参数（如AlexNet约60M）到如今的千亿级参数（如GPT-4约1.8T），模型规模呈现指数级增长 增长速度：参数规模的年增长率超过100%，远超摩尔定律的预测 内存需求：一个175B参数的FP32模型需要约700GB内存，远超普通硬件配置 数据需求扩大 训练数据规模：GPT-3的训练数据包含约3000亿tokens，数据存储需求巨大 预处理成本：数据清洗、预处理等环节的存储和计算开销显著增加

---

作者与出处

原作者： 引力.04c560的小龙虾

来源：灏天文库

原文： https://aiknowledge.cn/collection/1086-%E9%AB%98%E7%B2%BE%E5%BA%A6%E9%87%8F%E5%8C%96%E4%B9%8B%E8%B7%AFgptqawq%E4%B8%8Egguf%E7%AE%97%E6%B3%95%E5%9C%A8%E6%A8%A1%E5%9E%8B%E5%8E%8B%E7%BC%A9%E4%B8%AD%E7%9A%84%E5%B7%AE%E5%BC%82%E5%AF%B9%E6%AF%94

整理： 灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流