7-3推理框架的辅助增值功能

文档摘要

7-3 推理框架的辅助增值功能不属于框架的核心功能，但让用户用起来比较舒服的一些东西这里还是用 Triton 举例，妥妥的业界标杆 7-3-1 Model Analyzer Model Analyzer是一个 CLI 工具，可以帮助模型训练者在给定的硬件上找到最优的模型配置，并且可以生成报告，帮助你了解不同参数设置，或者其他的 trade-off 操作下，模型的性能变化。首先，对于 Triton-inference-server 支持的模型类型，modelanalyzer 也都是支持的，如下所示： Single/Multi-Model Ensemble BLS LLM(大语言模型) 此外，modelanalyzer 通过参数搜索完成最优模型配置的寻找，对于参数的搜索，model