7.3.1 模型选型与硬件能力的匹配矩阵

文档摘要

7.3.1 模型选型与硬件能力的匹配矩阵在模型推理的战场上，硬件不是沉默的配角，而是决定战局走向的统帅。我们常把“选模型”当作一场算法美学的巡礼——参数量、FLOPs、BLEU值、zero-shot准确率……这些指标如星光般璀璨，却容易让人忽略一个冰冷而坚硬的事实：当一个13B的LLM被加载进一块仅剩8GB显存的A10G时，它不会优雅地降级运行，而会以一句宣告全军覆没。这不是模型的失败，是匹配逻辑的断裂。7.3.1节所要构建的，不是一张静态的“型号对照表”，而是一套动态可执行的硬件-模型协同决策引擎——它必须能回答：给定一块RTX 4090（24GB VRAM，FP16带宽1.