Javac编译原理

叁叁肆2018-12-06 15:09

此文已由作者赵计刚薪授权网易云社区发布。

欢迎访问网易云社区,了解更多网易技术产品运营经验。


注:本文主要记录自《深入分析java web技术内幕》"第四章 javac编译原理"

1、javac作用

  • 将*.java源代码文件转化为*.class文件

 

2、编译流程


流程:

  • 词法分析器:将源码转换为Token流
    • 将源代码划分成一个个Token(Token包含的元素类型看3.2)
  • 语法分析器:将Token流转化为语法树
    • 将上述的一个个Token组成一句句话(或者说成一句句代码块),检查这一句句话是不是符合Java语言规范
  • 语义分析器:将语法树转化为注解语法树
    • 将复杂的语法转化成简单的语法(eg.注解、foreach转化为for循环)并做一些检查,添加一些代码
  • 代码生成器:将注解语法树转化为字节码

 

3、词法分析

3.1、作用

  • 将源码转换为Token流。


3.2、流程

一个字节一个字节的读取源代码,形成规范化的Token流。规范化的Token包含:

  • java关键词:package、import、public、class、int等
  • 自定义单词:包名、类名、变量名、方法名
  • 符号:=、;、+、-、*、/、%、{、}等

3.3、示例

代码:

1 package compile;
2 
3 /**
4  * 词法
5  */
6 public class Cifa {
7     int a;
8     int c = a + 1;
9 }

以上代码转化为的Token流:

说明:完成以上示例的是JavacParser的parseCompilationUnit()方法,源代码见文章开头的书籍。

注意:上边的token流符合java语言规范。

3.4、疑问

  • 怎样判断package是java关键词还是自定义变量?
    • JavacParser会根据java语言规范来控制什么顺序、什么地方出现什么Token(这个查看parseCompilationUnit()源码就知道了),所以package在文件的最开头出现,我们会知道是一个Token.PACKAGE类型,而非自定义的Token.IDENTIFIER类型。
    • 一条实践:在编写程序的时候,不要用java关键词来定义变量名、类名、包名、方法名,而是采取一定有意义的单词来定义,当然,你再eclipse中编写代码的时候,如果使用了java关键词来定义变量,eclipse会提醒你这是一个错误的定义。
  • 怎样确定package是一个Token,而packa不是?
    • 我的理解是,主要看空格和符号(符号见3.2),对于package是一个单词,中间没有空格也没有符号,所以是一个Token
    • 一条实践:在编写代码时,例如:int a = b + c;//a与=中间有一个空格、=与b之间有一个空格、b与+之间有一个空格、+与c之间有一个空格,当然,这里没有空格也行,因为每一个变量之间正好都是由符号来隔开的,但是之前看了一个视频说,如果上边这句话没有这些空格的话,可能编译不通过,所以我们最好还是加上空格,当然加上空格后显得整个代码也清晰。

 

4、语法分析

4.1、作用

  • 将进行词法分析后形成的Token流中的一个个Token组成一句句话,检查这一句句话是不是符合Java语言规范。

4.2、语法分析三部分:

  • package
  • import
  • 类(包含class、interface、enum),一下提到的类泛指这三类,并不单单是指class

4.3、示例

代码:

 1 package compile;
 2 
 3 /**
 4  * 语法
 5  */
 6 public class Yufa {
 7     int a;
 8     private int c = a + 1;
 9     
10     //getter
11     public int getC() {
12         return c;
13     }
14     //setter
15     public void setC(int c) {
16         this.c = c;
17     }
18 }

最终语法树:


说明:

  • 每一个包package下的所有类都会放在一个JCCompilationUnit节点下,在该节点下包含:package语法树(作为pid)、各个类的语法树
  • 每一个从JCClassDecl发出的分支都是一个完整的代码块,上述是四个分支,对应我们代码中的两行属性操作语句和两个方法块代码块,这样其实就完成了语法分析器的作用:将一个个Token单词组成了一句句话(或者说成一句句代码块)
  • 在上述的语法树部分,对于属性操作部分是完整的,但是对于两个方法块,省略了一些语法节点,例如:方法修饰符public、方法返回类型、方法参数。

疑问:

import节点的语法树与package的相似,但是import语法树放在了哪一个地方?

 

5、语义分析

5.1、作用

  • 将语法树转化为注解语法树

5.2、步骤

  • 添加默认的无参构造器(在没有指定任何有参构造器的情况下)
  • 处理注解
  • 标注:检查语义合法性、进行逻辑判断
    • 检查语法树中的变量类型是否匹配(eg.String s = 1 + 2;//这样"="两端的类型就不匹配)
    • 检查变量、方法或者类的访问是否合法(eg.一个类无法访问另一个类的private方法)
    • 变量在使用前是否已经声明、是否初始化
    • 常量折叠(eg.代码中:String s = "hello" + "world",语义分析后String s = "helloworld")
    • 推导泛型方法的参数类型
  • 数据流分析
    • 变量的确定性赋值(eg.有返回值的方法必须确定有返回值)
    • final变量只能赋一次值,在编译的时候再赋值的话会报错
    • 所有的检查型异常是否抛出或捕获
    • 所有的语句都要被执行到(return后边的语句就不会被执行到,除了finally块儿)
  • 进一步语义分析
    • 去掉永假代码(eg.if(false))
    • 变量自动转换(eg.int和Integer)
    • 去掉语法糖(eg.foreach转化为for循环,assert转化为if,内部类解析成一个与外部类相关联的外部类)
  • 最后,将经过上述处理的语法树转化为最后的注解语法树

 

6、生成字节码

6.1、作用

  • 将注解语法树转化成字节码,并将字节码写入*.class文件。

6.2、步骤

  • 将java的代码块转化为符合JVM语法的命令形式,这就是字节码
  • 按照JVM的文件组织格式将字节码输出到*.class文件中

具体的源代码与步骤查看com.sun.tools.javac.jvm.Gen类与《分布式Java应用:基础与实践》P42

6.3、class文件包含的内容

在生成的*.class文件中不只包含字节码信息,具体包含:

  • 结构信息
    • class文件格式版本号
    • 各部分的数量与大小
  • 元数据
    • 类、父类、实现接口的声明信息
    • 属性声明信息
    • 方法声明信息
    • 常量池
  • 方法信息
    • 字节码
    • 异常处理器表
    • 局部变量区的大小
    • 操作数栈的大小
    • 操作数栈的类型记录
    • 调试用符号信息

这里提到的局部变量区和操作数栈组成了了方法栈,可以参看第一章 JVM内存结构

 

总结:

对于编译这一块儿,我们在实际操作中不会直接去操作这些代码,不像类加载器机制,我们可能需要自己编写类加载工具,也不像Java内存管理那样,我们会直接在服务器配置堆栈方法区空间、配置GC收集器等,但是了解javac编译,对于我们了解以后的类文件结构、类加载机制有一定的帮助,也有利于我们掌握整个Java代码的执行流程,对于我们了解编译期间编译器做的一些检查工作也有很大帮助,了解这些检查工作有利于我们在写代码的时候更加小心,例如,检查型异常都需要捕获或抛出,每一条语句都要被执行到(即可达)等。虽然,这些工作eclipse会在我们写代码的时候为我们自动去检查,包括检查语句是否可达,但是了解这些还是有好处的。


免费领取验证码、内容安全、短信发送、直播点播体验包及云服务器等套餐

更多网易技术、产品、运营经验分享请点击