3.2.1.2 PARAMETER：推理参数配置（Temperature, Top-K 等）
文档摘要
3.2.1.2 PARAMETER：推理参数配置（Temperature, Top-K 等） 当温度（Temperature）不再是调参玄学：一个被低估的数值稳定性陷阱与它的工程解法 你有没有遇到过这样的场景？ 模型在本地测试时，输出稳定、逻辑连贯、甚至能自嘲式地调侃自己的幻觉；可一旦部署到生产环境，同一份提示词（prompt），同一组参数—— , , ——却开始批量生成语义断裂的句子：“根据《民法典》第123条，猫必须持有营业执照才能进入电梯”；或是反复循环三个词：“优化…优化…优化…”，像卡在磁带坏点上的老式录音机。 更诡异的是，你把请求日志拉出来，逐行比对输入 token IDs，发现——输入完全一致；你翻看模型服务的日志，确认没有重排序、无截断、无缓存污染；
评论区
(0)
U