灏天文库

nanochat SFT全流程·从base到chat

作者: 灏天 · 收录于 AI与大模型

内容摘要

 nanochat SFT全流程·从base到chat 灏 灏天文库 · AI 与大模型 第 17 期 · 第二季连载 AI 与大模型 · 第 17 期 · 第二季第 9 期 nanochat SFT 全流程, 从 base 到 chat 6 步把续写模型变成对话模型 一句话结论: base 模型只会续写,chat 模型才会对话 。中间靠 SFT 搭一座桥:用对话模板把多轮对话包成训练样本,让模型学会"在对话格式里回答"。nanochat 把全流程拆成 6 步:模板定义、数据构造、训练、评估、对齐、部署——点每步看在干什么。 ⏱ 约 10 分钟 🎯 想把base模型变chat的人 📦 源:nanochat §3-4 01 反共识:base 和 chat 是两个东西 很多人以为训练完的 base 模型就能对话。不能。你问它"你好",它可能续写成"你好,我是XX公司的销售"——它在续写,不在对话。 base 模型学的是"给定前文,续写最可能的下文"(互联网文本分布)。它没有"用户/助手"的角色概念。

打开完整知识页 返回工坊集