3.2.1.1 Top-k / Top-p采样参数调优

文档摘要

3.2.1.1 Top-k / Top-p采样参数调优 3.2.1.1 Top-k / Top-p采样参数调优：当“多样性”与“可控性”在生成边界上博弈在大语言模型（LLM）的推理部署中，Top-k 与 Top-p（又称核采样，nucleus sampling）是控制生成文本多样性和质量的核心手段。然而，这两个看似简单的超参数，却常常成为线上系统稳定性与用户体验之间微妙平衡的“雷区”。许多工程师在初次调参时，往往陷入“高多样性导致胡言乱语，低多样性又千篇一律”的两难境地。更令人头疼的是，某些场景下，即使参数设置“合理”，模型输出仍会突然崩坏——比如在客服对话中生成不合逻辑的道歉，或在代码补全中插入语法错误的片段。