文档摘要

7.1.1 针对 Transformer 结构的深度优化 在大模型推理的战场上，性能不是选择题，而是生死线。当一个 70B 参数的 LLaMA 模型在 A100 上以 12 tokens/s 的速度生成文本时，用户等待的每一秒都在 silently 折损产品体验；… 会员。《7.1.1 针对 Transformer 结构的深度优化》收录于灏天文库文集《TensorRT加速推理》，提供技术教程、实践指南与问题解决方案，支持在线阅读、全文检索与知识沉淀，助力开发者系统化学习。文档编号61900。

该文档为会员专享，请先登录或注册后再查看

登录 注册

---