第1章基础知识——大语言模型背后

文档摘要

第1章基础知识——大语言模型背后 &emsp;&emsp;本章共包括三部分内容。首先我们简要回顾自然语言发展历史，从语言、图灵测试一直到2022年底的新突破——ChatGPT。接下来，我们介绍语言模型的基础，包括Token、Embedding等基本概念和语言模型的基本原理，它们是自然语言处理（natural language processing，NLP）最基础的知识。最后是与ChatGPT相关的基础知识，包括：Transformer，它是ChatGPT的基石，准确来说它的一部分是基石；