推理框架基础功能

文档摘要

推理框架基础功能现如今，大模型的应用场景越来越多样化，包括 NLP、CV、Audio 等类型的大模型层出不穷，如何让一款框架能够适应这样的场景，并满足开发者与学习者的长期需求呢？在介绍完 7 -1 的内容之后，想必大家对推理框架已经有个大致的了解了。我们可以进一步走进“框架”，站在框架设计者的角度，认识一个完备的框架应该包含哪些功能，并且如何依赖于之前介绍对宏观设计理念和架构完成这些具体功能。 7-2-1 支持多模型推理后端之前也提到过要完成深度学习框架与部署框架解耦和，具体来讲，就是无论深度学习框架如何变更，部署框架自巍然不动。