2.1 词法分析器的作用与任务 编译原理第二章:词法分析 - 2.1 词法分析器的作用与任务详解 在编译原理的世界中,将人类可读的高级程序设计语言转换为计算机可以理解和执行的机器代码,是一个复杂而精妙的过程。这个过程被分解为多个阶段,每个阶段都有其特定的任务和职责。词法分析,作为编译过程的第一个阶段,扮演着至关重要的角色,它如同编译器的“眼睛”,负责扫描源代码,识别出程序中的基本组成单元,为后续的语法分析、语义分析等阶段奠定基础。 2.1.1 词法分析器的核心作用:从字符流到记号流 词法分析器的核心作用可以用一句话概括:将输入的字符流转换为记号(Token)流。 我们知道,源代码本质上是由字符组成的文本文件。对于编译器而言,直接处理字符流是低效且复杂的。