文集文档索引

本文集文档发布于灏天文库

GPT 工程实战：PyTorch 全流程

  • 文集信息
  • 目录大纲
  • 最新文档
  • 知识宇宙

文集详情

文集导读

ht-gpt 体系化教程 从零理解一个小型 GPT 的「数据 → 模型 → 训练 → 推理 → Web 演示」全流程。 配套项目： （PyTorch + HuggingFace Transformers + tiktoken） 📖 阅读顺序 序号 | 章节 | 文件 | 对应源码 | 关键词 00 | 项目导览与学习路线 | 00-overview.md | 全局 | 文件地图、学习路线 01 | 环境准备与首次运行 | 01-environment.md | | 5 分钟跑通 02 | 配置体系 | 02-config.md | | dataclass、学习率曲线 03 | 数据流水线 | 03-dataset.md | | tiktoken、自回归样本 04 | 模型构建 | 04-model.md | | GPT2LMHeadModel 05 | 训练循环 | 05-train.md | | 余弦退火、梯度裁剪 06 | 推理与采样 | 06-inference.md | | temperature、top-k 07 | Web UI | 07-app.md | | Gradio 08 | 工程实践要点 | 08-practices.md | 全局 | 可复现性、稳定性 09 | 进阶拓展方向 | 09-advanced.

ht-gpt 体系化教程

从零理解一个小型 GPT 的「数据 → 模型 → 训练 → 推理 → Web 演示」全流程。

配套项目：ht-gpt（PyTorch + HuggingFace Transformers + tiktoken）

📖 阅读顺序

序号 章节 文件 对应源码 关键词
00 项目导览与学习路线 00-overview.md 全局 文件地图、学习路线
01 环境准备与首次运行 01-environment.md requirements.txt 5 分钟跑通
02 配置体系 02-config.md config.py dataclass、学习率曲线
03 数据流水线 03-dataset.md dataset.py tiktoken、自回归样本
04 模型构建 04-model.md model.py GPT2LMHeadModel
05 训练循环 05-train.md train.py 余弦退火、梯度裁剪
06 推理与采样 06-inference.md inference.py temperature、top-k
07 Web UI 07-app.md app.py Gradio
08 工程实践要点 08-practices.md 全局 可复现性、稳定性
09 进阶拓展方向 09-advanced.md — AMP、DDP、LoRA
A 术语表 appendix-a-glossary.md — 25+ 术语
B 命令速查表 appendix-b-commands.md — 训练/推理/UI 命令
C 常见报错与排查 appendix-c-troubleshooting.md — 报错对照表

🎯 适合谁读

  • 有 Python 基础、想搞懂 GPT/Transformer 工程实现的同学。
  • 想要一份「能直接照着搭自己 LM 项目」的工程模板。

💡 学习心法

不要试图一次读懂所有细节。先建立「整体数据流」的心智模型，再逐章深入。每章末尾的「动手实验」是关键——读十遍不如跑一遍改一遍。

🚀 快速开始

# 安装
pip install -r requirements.txt

# 5 分钟跑通全流程（超小配置）
python train.py --max-iters 50 --n-layer 2 --n-embd 64 --n-head 2 --block-size 32

# 推理
python inference.py --prompt "To be, or"

# 启动 Web UI
python app.py
​

祝玩得开心！🚀

目录大纲

    最新文档

    知识宇宙

    正在加载知识图谱...

    转发