3.2 生成控制与优化算法

3.2 生成控制与优化算法

本节摘要：生成控制把语言模型的自由采样，收成带约束的序列决策：在保持通顺的同时，把事实、品牌、合规写进目标。生成式引擎优化（GEO）在这一层的三根支柱是策略优化、后处理修正、反馈驱动的在线学习。缺策略会跑题，缺后处理会把瑕疵送出门，缺学习会把实验室指标当成永久真理。

上手前先明确

阅读完本节，你应当能够：

1. 用「似然项 + 控制项」说明为什么只调温度解决不了越界。
2. 比较软提示、约束解码、策略网络三种控法的代价。
3. 描述局部重写相对全篇重生成的适用边界。
4. 为在线学习配上至少一种防刷与防遗忘措施。

一、自由生成在业务里等于无证驾驶

标准自回归只最大化「下一词像不像人话」。业务要的是「像人话，且别把退款说成终身，且必须带政策编号」。原文集把这收成：在语言先验之外加一个控制函数，衡量事实、调性、合规等适配度，再拿权重和似然做交换。权重太大，句子变模板；权重太小，控制等于没写。这不是公式表演，是产品经理必须拍板的旋钮：医疗告知偏控制，营销标题偏似然，两者共用一个温度旋钮是事故预告。

前馈式策略引导发生在生成前：选模板、选软提示、选风格向量。反馈式动态修正发生在生成中或生成后：探针打断、局部重写、整段打回。GEO 要两套时间尺度一起在，只做前馈会过时，只做反馈会又慢又贵。

⚠️ 常见坑：把控制项实现成「再写一段更严厉的系统提示」。提示是舵，控制项应能在解码或校验里真正改概率或改成品，否则你只是提高了表演合规的能力。

二、三根支柱怎么咬，以及为什么要分层

策略优化是大脑。它决定如何生成：自动提示搜索、约束解码、或把策略本身训成网络。电商要品牌调性，可用风格向量经适配器或软提示注入隐层——策略体现为选哪根向量。再进一步，把「强调性价比」还是「突出工艺」当成可学习动作，用下游点击或人工分当奖励。这贵，适合金融文案、医疗咨询这种一次出错很贵的场景，不适合每天十万条短标题的穷举。

策略不要追求单一最优。过优化会千篇一律，放任会失控。原文集主张分层：顶层定宏观方向（促销还是教育），中层定语气，底层定词和句式。分层之后，尺可以锁底层禁用词，创意可以留在中层。这和 2.2 的「营销与医疗不要共用一把尺」是同一设计，只是落到策略空间。

后处理是编辑。原始输出仍会有冗余、逻辑跳、术语错、偶发幻觉。流程应是检测 → 归因 → 局部重写 → 全局再校验。事实错误就去图谱或检索核对，只改可疑片段，不要整篇重掷骰子。序列到序列的修正模型可以把草稿映射到编辑后版本，训练数据来自人工修订对。后处理不是孤岛：若某类错误反复出现（价格单位混淆），应提炼成新约束，反注策略库，从源头减产。生成-修正-学习是螺旋，不是流水线终点。

在线学习是神经。直接点赞稀疏且滞后；困惑度和旧的重叠率指标又容易和业务脱节。多粒度融合更老实：微观看是否在某句停留或跳过，中观看对照实验，宏观看季度业务指标。学习范式上，全量在线微调有遗忘风险；只更新少量可插拔模块更稳；元学习追求少次反馈就能适应用户，成本更高。无论哪种，必须和风控耦合：识别刷量、识别舆情造成的分布突变，该暂停学习就暂停，该切保守模式就切。被恶意点踩带跑的「优化」，比不学习更糟。

顶层：促销或教育或告知
中层：语气与人称
底层：必须出现的编号、禁用承诺句
反馈：底层错误升格为中层模板修订
​

三、和采信的关系：控制是为了让引用发生

控制算法若只优化流畅和点击，会再次走到夸张标题。要把「是否使用了检索块」「是否输出了可点击的来源标记」「是否与图谱冲突」写成控制项或后处理门。公开网页 GEO 的采信，依赖内容侧把片段写得可引用；引擎侧的采信，依赖控制项让模型真去用这些片段，而不是用参数记忆覆盖它们。两边同时失败时，你会看到答案很自信、引用列表是装饰。

对照实验是策略层的法庭。不要上线全流量新策略。分群、限流、准备回滚。长期反馈改目标函数时，必须有人签字：品牌权重超过转化，意味着短期报表可能变难看。没有签字的「智能优化」，是把编辑权交给了点击率。

安全耦合的最小集：学习管道不吃未审核的用户改写当黄金；对对抗性输入单独记账；价值检查点按周抽检控制项是否被绕过。第 5.3 节会把伦理评估展开，这里只要记住：能学习的控制必须也能停学。

💡 关键直觉：生成控制是在自由和秩序之间找可调的平衡，不是找到唯一正确的温度。温度是采样噪声，控制项才是业务。

问题：约束解码会不会让句子不通？

会，如果约束是「必须按固定词序输出法律全文」。更好的约束是「必须出现编号」或「必须从候选引用集合里选」。约束粒度越靠近表面字符串，越容易把句子写残。

问题：后处理能不能替代微调？

局部错误可以。系统性的领域口吻和任务格式，靠后处理会又慢又不稳定。微调改先验，后处理改成品，职责不同。

四、策略网络贵在哪，后处理如何反注

把「强调性价比」还是「突出工艺」当成可学习动作，需要下游奖励。点击稀疏、延迟大，还容易教出标题党。因此策略网络更适合高伤害低频：核保话术、病历解释，用人工分或合规通过当奖励，而不是用点击。高频短标题用分层模板加对照实验更便宜。原文集把这写成马尔可夫决策过程，工程上先问奖励是否可被钻空子，再问要不要上强化学习。

后处理的局部重写要限制改写半径。只改数字和单位，不要顺手改形容词，否则会引入新的品牌越界。修正模型若用「人工润色后的营销稿」当黄金，会学会把尺放松。黄金应从「人工按规则修订」来，规则与 2.2 的尺一致。反复出现的单位混淆应升格：在策略库加「价格必须带币种和是否含税」，从源头减产，而不是永远靠编辑模型擦屁股。

在线学习的防遗忘：只更新可插拔模块，主干冻结。防刷：同一用户短时大量点踩不计奖励。防舆情：主题分布突变时暂停学习并切保守模板。没有这三防，3.2 的神经系统会变成误食神经毒。把引用使用率写进奖励或控制项，检索才不会是摆设——模型喜欢用参数记忆，因为记忆更流畅、不必迁就材料句式。控制项不罚「没用锚」，检索预算就白烧。

对照实验是策略法庭。新控制权重先影子后放量。品牌权重超过转化时，短期报表变难看必须有人签字，否则「智能优化」会在夜里把签字偷走。

控制项必须真能改输出。改不了就只是表演合规。高频短标题用分层模板加对照实验，低频高伤害才值得把策略当成可学习动作，并且奖励要能防钻空：点击最容易被钻。局部重写限制改写半径，只动数字和单位，避免顺手把品牌调性改坏。反复出现的错误要升格进策略库，不要永远靠后处理擦屁股。在线学习三防：主干冻结只改可插拔模块、短时刷点踩不计分、主题分布突变就暂停。引用有没有被使用，要写进奖励或门禁，否则检索预算会被模型用参数记忆绕开，因为记忆更流畅。

把一次上线变更写成控制项变更而不是模型变更：例如把「必须使用检索编号」从提示搬进校验，覆盖率应上升，流畅分可能下降，这是健康的。若覆盖率不动，说明控制项仍是假的。对照实验要准备回滚。品牌权重超过转化时短期报表变难看，必须有签字人，不能让点击率在夜里偷走编辑权。安全耦合不是附加：学习管道拒绝未审核用户改写当黄金，对抗输入单独记账，价值检查点按周看控制项是否被绕过。能学习就必须能停学。

把「必须使用检索编号」从提示搬进校验，应看到覆盖上升、流畅可能下降。若覆盖不动，控制项仍是假的，请不要写入已完成。高频标题继续用模板加对照，低频高伤害才考虑把策略当动作学，并且先问奖励会不会被钻空。局部重写继续限制半径。错误升格继续写进策略库。在线学习三防继续作为上线条件而不是事后补丁。引用使用率继续进奖励或门禁。对照实验继续准备回滚和签字人。夜里偷走编辑权的，通常不是模型自己，是没有帽子的点击率。能学习就能停学，这句话要出现在运行手册，不只出现在教程里。

覆盖不动就不要把控制项写成已完成，这句话请贴在变更单上。

温故知新

• 目标是似然加控制：只调温度是在调噪声。
• 前馈与反馈都要：配方预置加探针修正。
• 策略分层：宏观方向、语气、词级红线分开锁。
• 能局部就别全量重写：少引入新幻觉。
• 错误要升格：反复出现的后处理问题应变成策略约束。
• 学习必须能停：防刷、防遗忘、防舆情漂移。
• 把引用写进控制项：否则检索只是摆设。

下一章把对准和受控放进三种会失败的现场：内容页、多轮对话、强监管行业。