编译器处理 C++ 源文件时,如同严格按照以下顺序进行各个阶段的处理:

阶段 1

1) 以实现定义方式,将源文件的各个单独字节,映射为基本源字符集的字符。特别是,依赖于 OS 的行尾指示符均被替换为换行字符。基本源字符集由以下 96 个字符组成:

a) 5 个空白字符(空格 (space)、水平制表 (horizontal tab)、垂直制表 (vertical tab)、换页 (form feed)和 换行 (new-line))

b) 10 个数字字符,从 '0' 到 '9'

c) 52 个字母,从 'a' 到 'z' 以及从 'A' 到 'Z'

d) 29 个标点字符:_ { } [ ] # ( ) < > % : ; . ? * + - / ^ & | ~ ! = , \ " ’

2) 任何无法被映射到基本源字符集中的字符的源文件字符,均被替换为其通用字符名 (universal character name)(用 \u\U 转义),或某种被等价处理的由实现定义的形式。


3) 将各个三标符序列替换为其对应的单字符表示。
(C++17 前)

阶段 2

1) 凡在反斜杠出现于行尾(其后紧跟换行符)时,删除反斜杠和换行符,把两个物理源码行组合成一个逻辑源码行。这是单趟操作:以两个反斜杠结束,后随一个空行的行,不会把三行组合为一。若于此阶段组成了通用字符名(\uXXXX),则行为未定义。

2) 若此步骤后,非空源文件不以换行符结束(无论是原本就无换行,还是以反斜杠结束),则其行为未定义 (C++11 前)添加一个终止的换行符 (C++11 起)。

阶段 3

1) 将源文件分解为注释,空白字符(空格、水平制表、换行、垂直制表和换页)的序列,和下列各种预处理记号 (preprocessing token)

a) 头文件名,如 <iostream> 或 "myfile.h"

b) 标识符

c) 预处理数字

d) 字符字符串字面量,包含用户定义的 (C++11 起)

e) 运算符与标点(包括代用记号),如 +、<<=、<%、## 或 and

f) 不属于任何其他类别的单独非空白字符


2) 恢复在阶段 1 和 2 期间,在任何原始字符串字面量的首尾双引号之间进行的所有变换。
(C++11 起)

3) 以一个空格字符替换每段注释。

保持换行符。是否可将非换行空白字符序列缩减成单个空格字符是未指明的。

将输入分析为预处理记号,到某个给定字符为止时,通常将可构成一个预处理记号的最长字符序列处理成下一个预处理记号,即使这会导致后继分析失败也是如此。这常被称为最大吞噬 (maximal munch)

  1. int foo = 1;
  2. int bar = 0xE+foo; // 错误:非法的预处理数字 0xE+foo
  3. int baz = 0xE + foo; // OK
  4.  
  5. int quux = bar+++++baz; // 错误:bar++ ++ +baz,而非 bar++ + ++baz。

最大吞噬规则的唯一例外是:



- 若下一个字符所开始的字符序列可作为原始字符串字面量的前缀和起始双引号,则下个预处理记号应当为原始字符串字面量。该字面量由匹配原始字符串模式的最短字符序列组成。




  1. #define R "x"
    const char s = R"y"; // 非良构的原始字符串字面量,而非 "x" "y"
    const char
    s2 = R"(a)" "b)"; // 原始字符串字面量后随普通字符串字面量





- 若其后三个字符是 <::,而后继字符既非 : 亦非 >,则把 < 自身当做预处理记号(而非代用记号 <: 的首字符)。




  1. struct Foo { static const int v = 1; };
    std::vector<::Foo> x; // OK,<: 未被当作 [ 的代用记号
    extern int y<::>; // OK,同 extern int y[]。
    int z<:::Foo::value:>; // OK,int z[::Foo::value];



(C++11 起)
  • 头文件名预处理记号仅在 #include 指令中形成。
  1. std::vector<int> x; // OK,<int> 不是头文件名

阶段 4

1) 执行预处理器

2) #include 指令所引入的每个文件都经历阶段 1 到 4 的处理,递归执行。

3) 此阶段结束时,从源码移除所有预处理器指令。

阶段 5

1) 将字符字面量字符串字面量中的所有字符,从源字符集转换到执行字符集(可为如 UTF-8 这样的多字节字符集,只要阶段 1 中所列的基本源字符集的 96 个字符都拥有单字节表示即可)。

2) 将字符字面量和非原始字符串字面量中的转义序列和通用字符名展开,并转换到执行字符集。若某个通用字符名所指定的字符不是执行字符集的成员,则结果是由实现定义的,但保证不是空(宽)字符。

注意:某些实现中,能以命令行选项控制此阶段所进行的转换:gcc 和 clang 用 -finput-charset 指定源字符集的编码,用 -fexec-charset 和 -fwide-exec-charset 指定无编码前缀的 (C11 起)字符串和字符字面量中的执行字符集的编码,而 Visual Studio 2015 Update 2 及之后版本分别用 /source-charset 和 /execution-charset 指定源字符集和执行字符集。

阶段 6

拼接相邻的字符串字面量

阶段 7

发生编译:将各个预处理记号转换成记号(token)。将所有记号当作一个翻译单元进行语法和语义分析并进行翻译。

阶段 8

检验每个翻译单元,产生所要求的模板实例化的列表,其中包含显式实例化所要求者。定位模板定义,并进行所要求的实例化,以产生实例化单元(instantiation unit)

阶段 9

将翻译单元、实例化单元和为满足外部引用所需的库组件汇集成一个程序映像,它含有在其执行环境中执行所需的信息。

注意

某些编译器不实现实例化单元(又称为模板仓库模板注册表),而是简单地在阶段 7 编译每个模板实例化,存储代码于其所显式或隐式要求的对象文件中,然后由连接器于阶段 9 将这些编译后的实例化缩减到一个。

引用

  • C++11 standard (ISO/IEC 14882:2011):
    • 2.2 Phases of translation [lex.phases]
  • C++98 standard (ISO/IEC 14882:1998):
    • 2.1 Phases of translation [lex.phases]