文档摘要

4.1 多模型路由决策与小模型分流降本 我做过一次很有意思的成本拆解：一个大模型服务平台 80% 的请求，其实都是"你好""帮我写个问候语""解释一下这个词"这类简单问题，但平台只有一台旗舰模型服务所有请求。结果是，为了应付那 20% 的复杂请求（推理、创作、长文分析），平台养着昂贵的旗舰集群，而 80% 的简单请求本来用成本只有旗舰 1/10 的小模型就能完美解决。等于用大炮打蚊子，还打了八万次。 这一节讲多模型路由——怎么根据请求特征，把每个请求路由到"刚好够用又最省钱"的模型。这是编排层降本的核心手段，合理分流下，整体成本能降 40% 到 60%。 为什么要多模型路由 单一旗舰模型有三个问题。第一是贵，所有请求都用最贵的模型，成本爆炸。第二是慢，旗舰模型参数多、推理慢，简单请求也被拖。

---