5.1 核心评估维度：引用率与保真

5.1 核心评估维度：引用率与保真

本节摘要：生成式引擎优化（GEO）的评估要从「像不像标准答案」转到「值不值得被当成证据」。核心维度是内容质量（事实保真、逻辑、调性）、用户体验（完成、中断、追问）、以及引用覆盖（答案是否真正使用了可核验片段）。旧的重叠率分数会奖励油滑的错；业务指标若不拆到生成环节，又会把锅扣在渠道头上。

你能学到什么

阅读完本节，你应当能够：

1. 解释重叠率类指标为何与幻觉可以正相关。
2. 设计一张最小看板：保真、引用覆盖、任务完成、违规。
3. 按内容、对话、强监管三种场景裁剪权重。
4. 把「信任」从口号拆成可观察行为，避免无法回归测试。

一、像标准答案，仍可能是精致的错

传统自动文摘分数看生成文本和参考文本叠了多少词。模型若学会抄参考里的套话、同时编造一个数字，分数可以很高。GEO 要抓的是另一件事：这段话有没有把检索块用上、有没有与图谱冲突、用户有没有把答案当决策。原文集把评估哲学从对错拉到价值——对错只是价值的一层。

公开网页侧，价值首先是「被写进答案且来源可点」。内部助手侧，价值首先是「任务完成且可审计」。两个场景若共用「点赞率」，会把系统推向讨好。1.2 已经把特性和 KPI 做过映射，本节把它们收成评估维度，防止优化团队只优化自己能算的那个分。

⚠️ 常见坑：用一次人工打分当永久基准。生成分布会变，基准必须抽样复测，否则你在给过期的品味做回归。

二、三维怎么拆成可采集的数

内容质量是生成物的内在禀赋。事实保真：实体、数字、条件是否能回指材料。逻辑连贯：步骤是否缺步、比较是否偷换维度。调性：是否符合告知/促销/安抚的分层策略。可引用性：是否存在独立短句或表单元格，而不是整段比喻。公开 GEO 要把「引用覆盖率」单列：答案中的关键主张有多少能对齐到来源片段。覆盖为零的流畅答案，是隐形事故的镜子——这次是引擎自己在隐形你的材料。

用户体验是交互闭环。首次解决、多轮完成、中断、追问类型。追问「冬季真实续航」不是体验失败，是内容缺槽的信号，应进供给层。追问「你刚才说的编号是哪条」才是引用失败。把追问当差评一刀切，会砍掉最有价值的回流。

业务与风险是长期反馈。转化、客单价要和保真、投诉一起看。只看转化，会回到夸张标题。强监管场景甚至应把「转化」从主看板拿掉，改看转人工适当率和审计通过。

坏看板：流畅分 92，点赞 40%
好看板：引用覆盖 71%，事实冲突 2%，首次解决 64%，拦截 11 次
前者好看，后者能改系统
​

图 评估从像不像转到值不值得当证据

三、应用模式：评估如何反过来改 GEO

评估驱动进化，而不是装饰。引用覆盖低：查切块、权威权重、控制项有没有强制用锚。保真冲突高：查过期版本、图谱缺口、后处理是否只扫敏感词。完成率低但保真高：可能是结构问题，用户听不懂，该改模板而不是放松尺。完成率高但投诉升：可能在讨好，该把承诺句加成违规。

人工评估仍要，但应抽样在高伤害和高不确定，而不是随机十句自我安慰。评估滞后是原文集点名的瓶颈：人贵且慢，所以 5.2 要用自动工具链把日常门禁扛住，把人放在校准自动评分器上。

信任的拆法：重复查询是否得到同一口径、危机时是否口径分裂、用户是否还愿意把订单号交给你。这些比「品牌好感」问卷更接近生成系统。

💡 关键直觉：GEO 的评估若不能指出该改供给、对齐、控制还是反馈，它就只是打分游戏。分必须能导航。

问题：没有参考答案怎么测保真？

用材料对齐，不要用唯一标准文。主张从输出抽出，到检索块和图谱里找支持或冲突。支持不足记待核实，不要记正确。

问题：引用覆盖会不会鼓励堆引用？

会。所以要同时罚无关引用和装饰性链接。覆盖的是关键主张，不是参考文献数量。

四、最小看板怎么落到采集，信任如何拆

公开站点引用覆盖的采集：从生成式答案里抽出主张句，与你的锚点做对齐。没有答案日志时，用一组固定提问每周手工或半自动跑一遍，记下是否出现你的署名、主张是否被扭曲。扭曲比不被引用更危险——你被当成了错误主张的背书。内部助手覆盖的采集更直接：日志里检索块编号是否出现在输出的引用字段。装饰性引用要罚：列出了编号但主张与块冲突。

保真冲突次数应对齐到材料版本。同一句在旧政策下正确、新政策下错误，应记版本事故，不是模型事故。这会倒逼供给层做生效时间。完成率要和转人工一起看：完成率升、转人工降、投诉升，是讨好。完成率降、转人工升、投诉降，可能是闸在工作。不要只表扬完成率。

旧重叠率和 BERT 一类语义相似分可以留作辅助，看语言是否崩坏，但不能进主看板。它们与幻觉可以正相关：编得越像人话，相似分越高。原文集点名 BLEU、ROUGE 在生成式场景乏力，不是让你删除所有自动分，是让你降级。人工评估放在高伤害和高分歧：自动器与人对不上的样本，用来校准自动器，而不是用来出月报美感。

信任拆成可观察：同一政策问三遍口径是否一致；危机时市场与客服是否同一规则库；用户是否还愿意给订单号。一致性和给号意愿比问卷里的「品牌好感」更接近生成系统。客单价和转化必须戴帽，帽子就是保真与投诉。帽子没有阈值，转化优化就没有刹车。

公开侧若拿不到答案日志，就用固定的十个带语境提问每周跑一遍：有没有署名、主张有没有被扭曲。扭曲是负向采信，优先于隐形处理。内部侧看引用字段是否包含检索块编号，列出编号但主张冲突的记装饰性引用并处罚。保真要对齐到材料版本，政策更新造成的错误记供给事故。完成率必须和转人工、投诉一起读：完成升投诉升是讨好，完成降转人工升投诉降可能是闸在工作。重叠率类分数只监视语言崩坏，不进主看板。信任看三遍口径是否一致、危机时是否同一规则库、用户还愿不愿意给订单号。转化没有保真与投诉两顶帽子，就没有刹车。

把最小看板贴到周会上，只保留四列：保真冲突、引用覆盖、任务完成、违规拦截。每一列都必须能指出该改哪一层。冲突高去查材料版本和图谱缺口；覆盖低去查切块、权威重排和控制项有没有强制用锚；完成低但保真高去改模板结构；完成高但投诉高把承诺句加成违规。公开站点坚持每周十问：带明天、带对比、带步骤、带决策，记录署名与扭曲。内部系统坚持日志里的编号对得上句子。人工评估不要随机十句，要抽高伤害和高分歧。旧的重叠率分数可以留在角落看语言是否崩坏，但谁把它当主指标，谁就在奖励油滑的错。信任不靠问卷里的好感，靠同一政策问三遍是否同一口径，靠危机时市场和客服是否同一规则库，靠用户是否还愿意把订单号交给你。转化可以看，但必须戴着保真和投诉两顶帽子，帽子没有阈值就等于没有刹车。

四周会只保留四列之后，再加一列导航：本周主要该改供给、对齐、控制还是反馈。没有导航列的分数可以不报。公开十问覆盖明天、对比、步骤、决策，记录署名与扭曲，扭曲优先。内部编号对句子，装饰性引用处罚。冲突对齐到材料版本。完成率和转人工、投诉同读。重叠率进角落。信任三观察：三遍口径、危机同一规则库、是否还肯给订单号。转化戴两帽，帽没有阈值等于没刹车。人工抽高伤害和高分歧，用来校准自动器。评估不能导航就只是打分游戏，游戏赢了业务仍可能在输。

周会加导航列：本周改供给、对齐、控制还是反馈。没有导航列的分数可以不报。扭曲优先于隐形。装饰性引用要罚。帽子没有阈值等于没刹车。

导航列指出本周改哪一层。扭曲优先处理。装饰性引用记处罚。转化帽子没有阈值就拿掉转化主列。三遍口径不一致记信任事故。信任事故优先于再追点击。评估不能导航就停报流畅分。

信任事故优先于再追点击。三遍口径不一致先停转化优化。导航列空着就停报流畅分。装饰性引用按次处罚并回溯切块。

先停转化优化，再查三遍口径为何分裂。

重叠率会奖励油滑的错，只能放在角落看语言崩坏。主看板只留保真、覆盖、完成、违规，外加导航列指向该改哪一层。指向不了就停报。

本章回顾

• 重叠率会奖油滑错：GEO 要回指和冲突。
• 引用覆盖是公开侧主指标：没有它你仍在做 SEO 脑。
• 追问要分型：缺槽还是引用失败，回流去处不同。
• 转化必须戴帽：和保真、投诉一起看。
• 强监管可拿掉转化主看板：改看适当转人工与审计。
• 评估要能导航：指出改哪一层。
• 人评估用在刀刃上：校准和高伤害，而不是日常全量。

下一节把这些维度接进能跑的工具链：静态门禁、动态仿真、对抗与发布卡点。