nanochat 后半程 · 第 1 章 全景回顾

nanochat 后半程 · 第 1 章 全景回顾

章节摘要：动手之前先校准地图。1.1 节铺开 nanochat 的四阶段流水线——BPE 分词器、FineWeb-Edu 预训练、SFT 指令微调、推理界面（llama.cpp + Whisper）——给出全图与各阶段的输入/产物/耗时，并标出本书覆盖的后半程（③④）与每章的落点。1.2 节清点前三阶段留下的产物（词表、基座权重、分词器），做一次与《ht-gpt：从零搭建 GPT 训练与推理实战》的对照回顾：你在那本书里已经训过几乎同构的东西，这里只验收、不重训；对齐训练的路标也在本节给出。本章是全书的"换乘大厅"——旧知识在此对表，新旅程从此发车。

学习目标

阅读完本章，你应当能够：

1. 画出 nanochat 四阶段流水线图，说出每个阶段的输入、产物与在全书成本中的占比。
2. 列出前三阶段交给后半程的三样产物，并核对手上是否已备齐。
3. 说出本书各章对应流水线的哪个环节，按图索骥。
4. 知道对齐训练（RLHF/DPO/GRPO）在地图上的位置与延伸阅读入口。
5. 用一段验收脚本确认基座权重与分词器配套可用。
6. 说出社区实测两条 loss 轨迹（10.4→2.32 与 ~1.3 起步）各自讲述的故事。

核心概念速览

（文字流程图）
P ──▶ ③SFT 指令微调·本书第 2~4 章
③SFT 指令微调·本书第 2~4 章 ──▶ ④推理界面·llama.cpp + Whisper·本书第 5~8 章
​

一句话金句：前半程造引擎，后半程装方向盘——地图上灰色的两格你已经走过，蓝色的两格是这本书。

💡 本章没有"新知识"，只有"对表"：四阶段地图帮你在空间上定位，产物清单帮你在交接上验收。如果你是从《ht-gpt：从零搭建 GPT 训练与推理实战》一路读来的，本章大约 20 分钟即可完成——但不要跳过 1.2 的验收脚本，它是后半程所有实验的地基检查。

子章节导航

1.1 流水线地图：四阶段全景

四阶段各自的输入/产物/量级；社区实测 loss 轨迹（预训练 10.4→2.32、SFT 起步 ~1.3）；仓库演进说明与"发布帖为主轴、README 为依据"的取材原则。
含各章在流水线上的落点表与成本结构说明。

1.2 前三阶段的产物与分工

词表、基座权重、分词器三样产物的清点与验收脚本；与《ht-gpt：从零搭建 GPT 训练与推理实战》《Happy-LLM：从零训练大语言模型》的逐项对照表；无自训基座时的替代获取方式；对齐训练路标。

子章节之间的逻辑关系

1.1 流水线地图（空间视角：四阶段如何首尾相接、本书切在哪一刀）
   │   产出：四阶段输入/产物表 + loss 轨迹的两个起点
   ▼
1.2 前三阶段的产物（交接视角：拿到手的三样东西 + 旧知识对表）
   │   产出：验收通过的 base/ 目录 + 对照表 + 对齐训练路标
   ▼
第 2 章 SFT 数据（后半程第一站：造燃料）
​

前置知识与后续延伸

前置知识：第 0 章（知道后半程指什么、环境已就绪）；读过《ht-gpt：从零搭建 GPT 训练与推理实战》的预训练实战或《Happy-LLM：从零训练大语言模型》的对应理论（本章对照回顾以其中之一为参照系）。

为后续奠定基础：本章产物清单是第 2 章数据脚本与第 3 章训练脚本的直接输入（分词器路径、基座权重路径都会在代码里出现）；四阶段地图在第 5~8 章交付阶段会被反复回指。验收未通过的处理路径：分词器与预训练问题回《ht-gpt：从零搭建 GPT 训练与推理实战》对应章节，理论疑问回《Happy-LLM：从零训练大语言模型》——本书从验收通过的那一刻开始负责。