第3章 · 自然语言处理 NLP

第 3 章 · 自然语言处理 NLP

章节摘要：自然语言处理让机器"理解"和"生成"人类语言。本章从文本的数值表示出发，讲清词向量如何把离散的词变成连续的向量；再深入序列模型（RNN/LSTM、Transformer）如何处理变长文本；最后落到预训练语言模型——BERT 和 GPT 两大范式如何重塑了整个 NLP，以及大语言模型时代的新范式（Prompt、指令微调、RLHF）。读完你会理解为什么 attention is all you need、为什么 BERT 和 GPT 走向不同路线、以及面试官追问"大模型怎么训的"时该怎么回答。

学习目标

阅读完本章，你应当能够：

1. 说清 One-Hot、词袋、Word2Vec、上下文嵌入的演进逻辑
2. 讲清 Word2Vec 的 CBOW 和 Skip-gram 的区别，以及负采样的作用
3. 解释 RNN 的梯度消失问题，说清 LSTM 如何用门控缓解
4. 从 Self-Attention 出发推演 Transformer，讲清多头注意力和位置编码
5. 对比 BERT（双向编码）和 GPT（单向解码）的预训练范式差异
6. 说清指令微调和 RLHF 如何把基础模型变成对话助手
7. 针对不同 NLP 任务（分类、NER、翻译、问答）给出模型选型方案

核心概念速览

NLP 的核心矛盾是"离散符号 vs 连续计算"：语言是离散的符号序列，而神经网络要的是连续向量。整部 NLP 史就是把符号一步步变成向量的历史——从 One-Hot 到 Word2Vec 到上下文嵌入，每一步都让"词"的表达更贴近语义。

子章节导航

3.1 NLP 基础概念与文本表示

分词、词性、句法这些语言学基础，以及文本如何变成向量。重点讲 Word2Vec 的原理和"词向量能做语义推理"这件事的颠覆性。

3.2 经典 NLP 模型与核心任务

RNN/LSTM 处理序列、Transformer 用注意力并行化。围绕这些模型，讲文本分类、NER、机器翻译、问答这些核心任务的建模方式。

3.3 预训练模型与 NLP 应用实践

BERT vs GPT 两大范式，以及大模型时代的指令微调、RLHF、Prompt Engineering。这些是 2026 年 NLP 面试的重头戏。

子章节之间的逻辑关系

先解决"文本怎么表示"（3.1），再解决"序列怎么建模"（3.2），最后解决"如何用大规模预训练获得通用语言能力"（3.3）。三者层层递进——表示是基础，模型是骨架，预训练是规模化的威力。

3.1 文本表示  ──►  3.2 序列建模  ──►  3.3 预训练模型
（Word2Vec）      （RNN/Transformer）  （BERT/GPT/LLM）
​

前置知识与后续延伸

• 前置知识：第 1 章的深度学习基础，尤其是 Transformer 和注意力机制。
• 后续延伸：本章的预训练模型和大语言模型，是当前 AI 最活跃的方向。理解了 BERT/GPT 的范式，再看多模态、智能体等前沿会顺理成章。

本章考点热力图

NLP 面试的考点近年被大模型浪潮重新洗牌：Transformer 与注意力机制成为绝对核心，self-attention 的计算复杂度、多头机制的原因、位置编码的必要性是三大必考题；预训练模型的 MLM 与自回归之争是高频深挖点，能从"双向上下文与自回归目标的冲突"这条因果链讲清 BERT 和 GPT 的分野，等于拿下了 NLP 面试的半壁江山；微调策略（全参数、LoRA、提示工程）的考察率随岗位实操性上升，跑过一次微调的候选人在这一环节有肉眼可见的从容；经典模型（RNN、LSTM、Seq2Seq）退居为基础题，用来检验概念地基；传统文本表示（TF-IDF、词向量）则主要作为快问快答和基线意识出现。

值得注意的是面试深度的迁移：三年前答"attention 是什么"就够了，现在会被追问到"为什么除以根号 dk"（防止点积过大导致 softmax 梯度消失）、"KV 缓存为什么只在推理端有效"这类细节层。备考深度要跟着水涨船高，每个概念多准备两层追问的答案。

学习本章的三个常见误区

其一，跳过经典直接背大模型。对 Seq2Seq 的注意力从零讲起是大模型注意力最好的铺垫，缺了这段历史，你的理解是悬空的，追问两层就见底。其二，只记结论不写实现。手写一个简化版 self-attention（十行矩阵乘法）能把 Q、K、V 的角色彻底焊牢，这在白板环节是决定性优势。其三，忽视评估指标的任务差异。分类看 F1、生成看 BLEU 与人工评估、检索看 MRR，混着答是 NLP 面试的经典失分点，因为这些指标的设计动机直接对应任务目标，答错指标等于暴露对任务本身理解模糊。

一个提醒：NLP 岗位普遍会在面试里加入一段现场阅读或改写提示词的环节，平时多留意自己与大模型交互时的措辞，把偶然的直觉总结成可复述的经验。

三、高频问答对

问：为什么现在面试还考 RNN，大模型不是已经取代它了吗？

两个原因。一是基础概念的价值不变：RNN 的梯度消失、LSTM 的门控思想，在 Transformer 的残差连接、LayerNorm、KV 缓存这些设计里全部有回声，考察 RNN 实际是在考察你懂不懂这些设计的来源。二是边缘场景的现实需求：卫星、可穿戴设备、超低延迟的端侧场景里，循环结构的常数开销小、按需计算的特性仍有优势，一些轻量端侧模型依然采用循环或混合架构。答这题的姿势是"经典模型是理解现代设计的最短路径"，展示你对技术演进的连续性认知。

问：Transformer 的位置编码为什么必要，有哪些方案？

自注意力对输入顺序天然置换不变——打乱词序注意力输出跟着打乱，语义却乱套了，所以要显式注入位置信息。三代方案：正弦固定编码（不可学习但能外推）、可学习绝对位置编码（效果常更好但受训练长度限制）、旋转位置编码（把相对位置编码进注意力计算，外推性和长文本表现更好，现代大模型主流）。追问点在"绝对和相对的取舍"：语言任务里相对位置往往比绝对位置更本质。

问：面试里怎么展示大模型使用经验？

不要罗列工具名，讲一个具体的工程闭环。例如：用大模型做数据增强生成了训练样本，发现分布偏差后改用少样本示例约束生成，配合规则过滤器清洗，最终在某分类任务上提升若干个点。有数字、有失败、有迭代的闭环故事，比"我熟悉各种大模型应用"值钱十倍。当前市场环境下，评估候选人大模型经验的真实性，几乎都靠这类细节交叉验证。

学习路线建议

本章的阅读顺序建议严格按节推进：文本表示是理解一切模型输入的钥匙，经典模型承载了注意力的动机，预训练与实战直接对应当前岗位需求。每节的"要点回顾"先看一眼再读正文，带着问题读效率翻倍。配合作业：读完本章后，找一个公开文本分类数据集，分别用 TF-IDF 加逻辑回归、静态词向量加浅层网络、预训练模型微调三条路线各跑一遍，对比效果和成本——这个作业两小时能完成，但它给你的"体感"是任何阅读都替代不了的，三条曲线的差距会让你对本章所有概念的理解立体起来。