Laya 实战：多语言轻量决策引擎与路由 · 第 5 章 微调：RLCD 与业务定制

Laya 实战：多语言轻量决策引擎与路由 · 第 5 章 微调：RLCD 与业务定制

章节摘要：前四章把 laya「用对」，本章开始「调好」。官方诚实声明的另一面是：底座检查点 zero-shot 接近随机猜，价值在微调——对 laya 而言，微调不是进阶选项，而是把「形态正确」变成「能力可信」的必经工序。5.1 节拆 RLCD 训练循环：基于对比偏好信号更新决策头，讲清 laya 侧的三件事——偏好数据长什么样、训练循环怎么写（代码骨架）、为什么几百到几千条样本就能撬动一个 BERT 级检查点；概念背景在《Jev 决策编程》已有交代，本章不重复。5.2 节走官方微调 notebook 在 Kaggle 2×T4 免费 GPU 上的复现：环境准备、数据上传、会话时长与断点保存，不买卡也能上手（官方口径）。5.3 节复盘两个官方案例：typed-decisions 基准微调后 0.362 升到 0.766（官方口径）的提升从哪来；browser-agent 决策头怎么把「下一步点哪里」变成 choice 问题。微调让答案变对，概率变可信还要靠第 7 章校准。

学习目标

• 说出 RLCD 在 laya 侧的最小数据格式：context、question、偏好对。
• 读懂并能改造本章的训练循环代码骨架（写法示意，以官方仓库为准）。
• 在 Kaggle 2×T4 免费 GPU 上复现官方微调 notebook，并处理好会话与断点。
• 复盘 typed-decisions 基准 0.362 到 0.766（官方口径）的提升逻辑。
• 解释 browser-agent 决策头案例：动作选择如何建模为 choice 问题。
• 记住一条铁律：每次微调后，第 7 章的温度拟合必须重做。

核心概念速览

微调在整条链路里的位置：从「会用」到「懂你」

  第 3~4 章的 laya                 第 5 章的 laya                  第 7 章的 laya
┌──────────────────┐          ┌──────────────────────┐      ┌──────────────────┐
│ 底座检查点         │  RLCD   │ 懂业务的检查点         │ 校准 │ 概率可信的检查点   │
│ zero-shot 近随机   │ ──────▶ │ 你的偏好数据注入决策头 │ ───▶ │ 温度重新拟合      │
│ 形态正确·能力存疑  │ (5.1)   │ 答案对了·概率还未必准  │(7.1) │ 可挂置信门控      │
└──────────────────┘          └──────────────────────┘      └──────────────────┘
          │                              │
          │ 5.2 官方 Kaggle 2×T4 notebook │ 5.3 两个官方案例复盘
          ▼                              ▼
      不买卡也能微调              0.362→0.766（官方口径）·browser-agent
​

一句话金句：laya 卖的不是开箱即用的判断力，而是「你的偏好数据加一块免费 GPU」就能炼出来的判断力。

（文字流程图）准备偏好数据 ──▶ RLCD 训练循环 ──▶ Kaggle 2×T4 上跑通 ──▶ 留出集验证提升 ──▶ 案例复盘校准预期 ──▶ 交棒第 7 章重新校准。

子章节导航

• 第 5.1 节《RLCD 训练循环》：偏好信号的形态、数据格式、训练循环代码骨架、小样本特性与训练后三查。
• 第 5.2 节《Kaggle 双 T4 notebook 复现》：官方 notebook 的环境准备、数据上传、双卡并行、会话时长与断点保存。
• 第 5.3 节《两个提升案例复盘》：typed-decisions 基准跃迁与 browser-agent 决策头的建模拆解。

三节按序读：先懂训练循环本身，再借免费算力跑通一次，最后用官方案例校准自己的预期。

子章节之间的逻辑关系

┌──────────────┐   提供可运行的循环    ┌──────────────────┐   提供参照系        ┌──────────────┐
│ 5.1 RLCD     │ ──────────────────▶ │ 5.2 Kaggle       │ ────────────────▶ │ 5.3 两个提升  │
│ 训练循环      │                     │ 双 T4 复现        │                    │ 案例复盘     │
└──────┬───────┘                     └────────┬─────────┘                    └──────┬───────┘
       │ 数据格式是 notebook 的输入             │ 免费算力降低试错成本                  │ 预期管理
       ▼                                      ▼                                     ▼
     第 7 章 校准（微调后的概率必须重新温度拟合，不是自动可信的）
​

前置知识与后续延伸

• 前置：第 3 章的 predict 接口（微调数据里的 context 与 question 就是它的输入形态）；第 1.2 节的 typed 三原语（偏好信号挂在哪种问题上）。
• 后续：第 7 章《校准与置信门控》——微调改掉了答案，没自动改好概率，温度拟合要重做；第 6 章的长文本与高基数扩展建立在微调后的能力之上。
• 延伸阅读：RLCD 的动机与方法学背景见《Jev 决策编程》；动手训练自己的决策底座见《Kev 实战：训练并运行你自己的决策模型》第 07 章《微调实战》。