4.7 常见大模型架构 (BERT, GPT, T5, Llama, etc.)

文档摘要

4.7 常见大模型架构 (BERT, GPT, T5, Llama, etc.) 第四章：大模型核心架构领域 4.7 常见大模型架构 (BERT, GPT, T5, Llama, etc.) 4.7.1 BERT (Bidirectional Encoder Representations from Transformers) 4.7.1.1 核心思想与架构 BERT（Bidirectional Encoder Representations from Transformers），即Transformer的双向编码器表示，由Google在2018年提出。BERT的核心创新在于其双向Transformer编码器架构以及预训练任务的设计。