2.2.1 词法单元 (Token) 的概念：类型和属性值

文档摘要

2.2.1 词法单元 (Token) 的概念：类型和属性值编译原理中的词法单元 (Token)：类型与属性值详解词法分析与词法单元 (Token) 的概念编译器的首要任务是将人类可读的源程序代码转换成机器可以理解的指令序列。这个过程通常被分解为多个阶段，而词法分析 (Lexical Analysis) 正是第一个阶段。词法分析器（也称为扫描器）读取源程序的字符流，并按照预定义的规则，将连续的字符序列分组形成具有独立意义的单元，这些单元就被称为词法单元 (Token)。可以将词法分析过程比作语言学中的断句和词语识别。如同我们阅读文章时，首先将连续的文字流断开成句子，再将句子分解成词语一样，词法分析器将源程序代码的字符流分解成一个个具有词法意义的单元，即 Token。