BERT vs GPT，差在哪？

01一个反共识：不是同一个 Transformer

BERT 和 GPT 都说"基于 Transformer"，但它们用的是 Transformer 的不同一半。

• BERT = 只留编码器：注意力是双向的，每个词能同时看到左边和右边。适合"理解"任务——填空、分类、抽取。但不能续写（它根本不生成，只填空）。
• GPT = 只留解码器：注意力是单向的（masked），每个词只能看左边，不能偷看右边。适合"生成"任务——续写、对话。但理解上下文不如 BERT（看不到右边）。

这一刀切决定了它们的命：BERT 是"阅读理解高手"，GPT 是"续写高手"。你拿 GPT 做填空，它只能盲猜左边的；拿 BERT 做续写，它根本不会往右生成。任务选模型，先看要理解还是生成。

02同一句话，两种模型怎么处理

同一句"今天天气[MASK]，我们去爬山"，切到 BERT 看它怎么填空，切到 GPT 看它怎么续写。

03选型：理解用 BERT 系，生成用 GPT 系

实际选型看任务类型：

• 理解类（分类、抽取、相似度、检索）：BERT 系（BERT/RoBERTa/DeBERTa）。双向注意力吃满上下文，准确率高，模型小（几百 M 参数够用）。
• 生成类（续写、对话、翻译、摘要）：GPT 系（GPT/Llama/Qwen）。自回归生成，质量高，但要大模型（7B+）才好用。
• 编码-解码类（翻译、摘要，T5/BART）：输入用编码器理解，输出用解码器生成。介于两者之间。

一个常见误区：拿 GPT 做分类/检索，又贵又不如 BERT 系准。GPT 的强在生成不在判别，理解任务用 BERT 系又快又准又便宜。别用大炮打蚊子。

04带走这套清单