2.1.2 词法分析器的输出：Token序列

文档摘要

2.1.2 词法分析器的输出：Token序列 2.1.2 词法分析器的输出：Token 序列详解 2.1 词法分析器的作用与任务领域在深入 Token 序列之前，我们首先需要理解词法分析器在编译过程中的角色和职责。词法分析（Lexical Analysis），也称为扫描（Scanning）或词法扫描（Lexical Scanning），是编译器的第一个阶段。它的主要任务是从输入的源程序字符流中识别出具有独立意义的词法单元 (Token)，并生成 Token 序列作为输出，为后续的语法分析阶段提供结构化的输入。具体来说，词法分析器承担以下关键任务：读取源程序字符流：词法分析器接收源程序的字符流作为输入，这是程序代码最原始的形态，由一个个字符组成。