Laya 实战：多语言轻量决策引擎与路由 · 第 6 章 长文本与高基数

Laya 实战：多语言轻量决策引擎与路由 · 第 6 章 长文本与高基数

章节摘要：第 5 章微调出的检查点，接下来要面对两类「超规格」输入。一类是文本太长：BERT 级底座有输入长度上限，长文档塞不进一次前向——6.1 节讲 predict_long 的窗口扫描：长文分段、逐窗决策、聚合收口，窗口与步长怎么定，长文审核与多段证据判断两个示例场景怎么落地。另一类是选项太多：约 20 个以上选项的高基数场景官方承认 Jev 更强（官方口径），laya 侧的工程补偿分两层——6.2 节的 option budget 给算力画预算：最多评多少个选项、超预算怎么截、预算与延迟的关系；6.3 节的两段式：predict_shortlist 先用规则或召回把上百候选缩到二十个以内，再用 tournament 两两对比决胜。本章的共同主题是：轻量引擎的边界不是墙，是需要管理的预算。

学习目标

• 用 predict_long 处理超长输入，并说清窗口与步长的取舍逻辑。
• 为长文审核、多段证据判断类场景选择聚合策略（概率平均、逐窗投票、分段结论）。
• 给高基数场景设 option budget，并按预算裁剪候选。
• 说明预算与延迟的近似线性关系及其量级（示意值口径）。
• 用 shortlist 加 tournament 两段式把上百候选缩到可决策规模。
• 复述官方边界：约 20 个以上选项 Jev 更强（官方口径），两段式是补偿不是超越。

核心概念速览

两类超规格输入与 laya 的应对

  输入侧超规格：文本太长              输出侧超规格：选项太多
┌──────────────────────────┐      ┌──────────────────────────┐
│  ┌────┬────┬────┬────┐   │      │  120 个候选选项           │
│  │窗1 │窗2 │窗3 │窗4 │   │      │     │ option budget (6.2)  │
│  └──┬─┴──┬─┴──┬─┴──┬─┘   │      │     ▼ 预算裁剪/粗排       │
│     └────┴────┴────┘     │      │  ≤ 预算个选项             │
│   逐窗决策 ──▶ 聚合收口    │      │     │ shortlist (6.3)     │
│   predict_long (6.1)     │      │     ▼ 缩到约 20 个内       │
└──────────────────────────┘      │  tournament 两两决胜       │
                                  └──────────────────────────┘
​

一句话金句：轻量引擎的边界不是墙，是预算——窗口预算管输入，选项预算管输出。

（文字流程图）长文本 ──▶ 分段滑窗 ──▶ 逐窗决策 ──▶ 聚合；高基数候选 ──▶ 预算裁剪 ──▶ shortlist 粗筛 ──▶ tournament 决胜。

子章节导航

• 第 6.1 节《predict_long 窗口扫描》：长文分段与滑窗聚合决策，窗口与步长参数怎么定，两个落地场景。
• 第 6.2 节《option budget》：高基数选项的算力预算控制，超预算怎么办，预算与延迟的关系。
• 第 6.3 节《shortlist 与 tournament 两段式》：先粗筛再决胜的完整架构，官方高基数边界的工程补偿。

三节按序读：6.1 管输入长度，6.2 与 6.3 管输出规模——后两节是递进关系，预算是机制，两段式是预算之上的架构。

子章节之间的逻辑关系

┌──────────────────┐   都在管「一次前向装不下」    ┌──────────────────┐
│ 6.1 predict_long │                              │ 6.2 option       │
│ 窗口扫描          │                              │ budget           │
└────────┬─────────┘                              └────────┬─────────┘
         │ 输入侧：切的是 context                  │ 输出侧：裁的是 options
         ▼                                         ▼
      长文场景直接可用                    ┌──────────────────┐
                                         │ 6.3 shortlist 加 │
                                         │ tournament       │ ──▶ 高基数场景的完整答案
                                         └──────────────────┘
   两段式内部用到 budget：shortlist 的出口就是预算线（示意关系）
​

前置知识与后续延伸

• 前置：第 5 章的微调（长文本与高基数场景的实际精度建立在微调后的检查点上）；第 3.1 节 predict 的输入面（本章扩展的就是 context 与 options 两个维度）。
• 后续：第 7 章《校准与置信门控》——窗口聚合后的概率与两段式输出的置信如何解读，都要校准视角；第 10.3 节把高基数边界并入运维清单。
• 延伸阅读：候选召回与排序的评估方法见《Evals 实战：LLM 评测工程》第 07 章《概率系统评测》；高基数下的托管方案对照见第 9.1 节。