5.2 资源与学习路径

5.2 资源与学习路径

本节摘要：NanoGPT 之外，还有一条完整的进阶路。本节梳理学习资源（Karpathy 的课程视频、教程、论文）与三层学习路径（会用 → 懂原理 → 能创新），帮你规划"学完 NanoGPT 之后学什么"。

学习目标

阅读完本节，你应当能够：

1. 说出核心学习资源
2. 理解 Karpathy 教学系列的脉络
3. 规划三层学习路径
4. 用资源组合加速学习
5. 判断自己处在哪一层

一、问题与直觉

"NanoGPT 学完了，接下来呢？"——NanoGPT 本身是 Karpathy 教学体系的一环，这个体系是一条从"零"到"研究者"的完整路径。顺着路径走，每一步都有对应资源。

Karpathy 的"Neural Networks: Zero to Hero"系列以"从零构建"著称：从反向传播开始，到构建 GPT，再到 NanoGPT 的完整实现。NanoGPT 仓库正是这套视频的"文字版作业"——看懂视频再看代码，或先跑代码再补视频，都是高效的组合。

二、核心原理

2.1 核心资源清单

2.2 三层学习路径

第一层 会用：跑通 NanoGPT，能训练生成
第二层 懂原理：读代码 + 论文，能讲清原理
第三层 能创新：改架构、做实验、有自己的想法
​

三、工程实践要点

3.1 路径对照表

3.2 学习顺序建议

1. 本教程跑通（会用）
2. 看 Karpathy 讲解视频（深化理解）
3. 读 GPT-2 论文（理论溯源）
4. 跑衍生项目（接触前沿）
​

💡 关键直觉：视频给直觉，代码给细节，论文给理论——三者配合使用，比单啃任何一个都快。看懂论文配代码，"看懂论文"的能力就练出来了。

3.3 一套完整的进阶练习

# 从"会用"迈向"能创新"的练习清单
# 1. 改配置：把莎士比亚模型层数 6 -> 12，记录损失差异
# 2. 改数据：换成中文语料，处理字符集差异
# 3. 改架构：在 MLP 里换激活函数（GELU -> ReLU），对比
# 4. 改训练：实现一个自己的学习率调度器
# 5. 改评估：写脚本统计生成文本的重复率
​

每个练习都有明确产出：一个损失数字、一条曲线、一段对比。做完这五个练习，你就从"跑通"升级到了"能设计实验"。

3.4 常见资源选择

3.5 判断自己处在哪一层

会用：能独立训练并生成文本
懂原理：能不看代码画出数据流、解释每个组件
能创新：能提出并验证一个改进想法
​

诚实评估自己当前层，然后只做"上一层"的事——比好高骛远读一堆高级论文更有效。

⚠️ 常见误区：只收藏不实践。资源收藏一堆、代码一行没跑——教程的意义在"动手"，收藏夹不会让你学会。

3.6 时间投入建议

3.7 视频课程的对照表

Karpathy 的"Zero to Hero"系列与 NanoGPT 代码有明确的对应关系，看视频时按需跳转：

建议顺序：先跑通 NanoGPT 再挑对应视频看，视频里"原来这行代码是这个意思"的时刻，就是理解加深的时刻。

3.8 学习路上的常见分叉

判断标准只有一个：你现在缺的是"直觉"还是"深度"——缺直觉就先动手，缺深度就啃源码。

要点串联

• 要点一：三层路径——会用、懂原理、能创新
• 要点二：视频给直觉，代码给细节，论文给理论
• 要点三：NanoGPT 是 Karpathy 教学体系的一环
• 要点四：学习顺序——跑通、看视频、读论文、跑衍生
• 要点五：资源组合比单啃一个快
• 要点六：只收藏不实践，等于没学

路径清楚了，下一节看方向——项目演进与未来展望。