浅析JVM invokedynamic指令和Java Lambda语法|得物技术

得物技术 2024-10-06 08:35:01 阅读 58

一、导语

尽管近年来JDK的版本发布愈发敏捷,当前最新版本号已经20+,但是日常使用中,JDK8还是占据了统治地位。

01.jpg

++你发任你发,我用Java8:【Jetbrains】2023 开发者生态系统现状 - https://www.jetbrains.com/zh-cn/lp/devecosystem-2023/java/++

JDK8如此旺盛的生命力,与其优异的兼容性、稳定性和足够日常开发使用的语言特性有极大的关系,这其中最引人瞩目的语言特性莫过于Lambda表达式。

Lambda表达式语言特性引入Java语言后,赋予了Java语言更便捷的函数式编程魔力(相对匿名内部类),同时也让其更简洁,毕竟Java代码写起来啰嗦这点一直被开发者们广泛诟病。

本文将从JVM和Java两个层面着手,和大家一起深入解析Lambda表达式。

二、Java和JVM的关系

JVM是HLLVM(高级语言虚拟机),其参考物理计算机体系架构,设计、实现了一套特定领域虚拟指令集,即:字节码指令。利用上述虚拟指令集作为中间层,将上层高级语言和底层体系架构解耦以规避繁琐、复杂的平台兼容性问题,以实现【一次编译,处处运行】。

Java是基于JVM提供的虚拟指令集,设计、实现的一种供开发者使用的高级语言。通过配套的编译器和标准库,将文本格式的Java代码编译成符合JVM指令集规范的二进制文件,交付到JVM执行。

Java是一种运行在JVM平台上的高级语言,但是JVM平台绝不是只能运行Java语言。任何人都可以设计自己的语言语法,只要能按JVM规范编译成合法的JVM字节码,即可在JVM上运行(用Java命令)。

++计算机科学领域的任何问题,都可以通过增加一个中间层来解决。++

02.jpg

没有无源之水,Java语言层面的特性,除非是纯语法糖,不然一定离不开特定JVM特性的支撑。Lambda是Java8语言特性,那支撑它的便是JVM invokedynamic指令。

三、JVM指令:invokedynamic

在Java7之前,JVM提供了如下4种【方法调用】指令:

03.jpg

上述4种字节码指令各自有不同的使用场景,但是有一个共同的特点:目标方法一定需要在【编译期】确定。如下图,编译后4种指令的参数都指定了目标方法所在的类和签名以供运行时链接、动态分派

04.jpg

05.jpg

这个特点一方面保证了JVM语言类型安全,另一方面也限制了JVM平台对动态类型高级语言的支持。比如想让JavaScript、Python等动态语言代码编译成JVM字节码运行在JVM平台上的开销会比较大,性能也会比较差。

为了解决上述问题, Java7引入了一条新的虚拟机指令:invokedynamic。这是自JVM 1.0以来第一次引入新的虚拟机指令,invokedynamic与其他 invoke*指令不同的是它允许由应用级的代码来决定方法解析(链接、分派)。

所谓的【应用级的代码来决定方法解析】需要对照之前的invoke指令来理解。之前的4种invoke指令,在编译期就必须要明确目标方法并hardcode到字节码中,JVM在运行时直接解析、链接、动态分派硬编码指定的目标方法。而invokedynamic指令通过回调机制来获取需要调用的目标方法。即先调用业务自定义回调方法做方法决策(解析、链接),再调用其返回的目标方法。笔者称之为**【两阶段调用】**。

伪代码对比如下:

06.jpg

MethdoHandle为示意,后文有详述。

07.jpg

伪字节码

++invokevirtual指令直接调用目标方法,invokedynamic直接调用回调方法,再调用回调方法返回的方法句柄。++

传统的invoke*指令直接调用字节码中指定的目标方法,如Son.testMethod1,invokedynamic指令在调用时,先调用字节码中指定的回调方法,如Son.dynamicMethodCallback,然后再调用回调方法(hook)返回的方法引用。

而上述dynamicMethodCallback即为【应用级的代码或者我们常说的业务代码】,可以在不影响性能的前提下,灵活的干预JVM方法解析、链接的过程。

总结来说,所谓应用级的代码其实也是一个方法,在这里这个方法被称为引导方法(Bootstrap Method),简称 BSM。invokedynamic执行时,BSM先被调用并返回一个 CallSite(调用点)对象,这个对象就和 invokedynamic链接在一起。以后再执行这条invokedynamic指令都不会创建新的 CallSite 对象。CallSite就是一个 MethodHandle(方法句柄)的holder,方法句柄指向一个调用点真正执行的方法。

一阶段:调用引导方法确定并缓存CallSite(MethodHandle)

二阶段:调用CallSite(MethodHandle)

字节码指令比较low level,除字节码业务插桩场景外,字节码指令序列的构造、编排一般都由【高级语言编译器】来根据语言语法规则自动完成,如javac。

某种意义上有点类似Java【动态代理】机制,都是通过调用横切来动态桥接、灵活决策目标方法。

四、方法句柄:MethodHandle

前面我们知道invokedynamic指令支持通过业务层面自定义的BSM来灵活的决策被调用的目标方法,也就是上述的【一阶段】。BSM方法的返回值就是【二阶段】调用的方法。

但是和C、Python等语言不同,Java中方法/函数不是一等公民,也就是在Java中无法将【方法变量】作为方法返回值。

为了解决这个问题,Java标准库提供了一个新的类型MethodHandle,用于实现类似C语言中的方法指针、JavaScript/Python中方法变量的能力。该API和反射API呈现的能力相似,但是性能更好。

08.jpg

上述为MethodHandle API的基本使用,该课题展开又是一篇长文。总之,我们可以用MethodHandle来作为【方法变量】,变相的将【Java方法】提升为【一等公民】,从而可以在BSM中用Java代码实现动态编排、决策,返回合适的方法指针。这也是上述invokedynamic+BSM机制能够成立的一个基础。

详见:++秒懂Java之方法句柄(MethodHandle) (https://blog.csdn.net/ShuSheng0007/article/details/107066856)++

段落引用上述【一阶段】调用的本质就是得到一个特定的MethodHandle(方法指针/方法引用),【二阶段】调用就是调用这个MethodHandle。

五、Lambda表达式简介

Java的Lambda表达式,是传统的【匿名内部类】特性在特定场景下的平替特性。所谓的特定场景,即我们熟知的FunctionalInterface。

当【匿名内部类】匿名实现的是一个FunctionalInterface时,可以用Lambda表达式平替。

示例如下:

09.jpg

函数式接口(Functional Interface)就是一个有且仅有一个抽象方法,但是可以有多个非抽象方法的接口。

Java 不会强制要求你使用 @FunctionalInterface 注解来标记你的接口是函数式接口,然而,作为API作者,你可能倾向使用@FunctionalInterface指明特定的接口为函数式接口,这只是一个设计上的考虑,可以让用户很明显的知道一个接口是函数式接口。

Java Lambda表达式在语法层面有两种形式:行内代码块、方法引用。

10.jpg

但是在编译产物中,行内Lambda最终会被提取到独立的静态方法中。也就是说,在字节码层面只有【方法引用】一种Lambda形式。

11.jpg

12.jpg

如上图反编译结果,两个行内Lambda中的代码在编译后被提取到两个自动生成的方法lambda$main

0

l

a

m

b

d

a

0、lambda

0、lambdamain$1,后续Lambda表达式的处理流程都可以收敛,无需区分对待

六、Lambda表达式实现

Lambda表达式具体的实现涉及类文件结构、字节码指令结构、标准库等多个方面的内容,千头万绪。也想不出来什么通俗易懂的叙述角度,只能是枯燥的对照着字节码分析了。

13.jpg

如上图,mian方法中声明了3个Lambda表达式,反编译字节码可以看到字节码指令流如下:

14.jpg

<code> 0 iconst_3

1 istore_1

2 iconst_3

3 newarray 10 (int)

5 dup

6 iconst_0

7 iconst_1

8 iastore

9 dup

10 iconst_1

11 iconst_2

12 iastore

13 dup

14 iconst_2

15 iconst_3

16 iastore

17 invokestatic #2 <java/util/stream/IntStream.of : ([I)Ljava/util/stream/IntStream;>

20 invokedynamic #3 <applyAsInt, BootstrapMethods #0>

25 invokeinterface #4 <java/util/stream/IntStream.map : (Ljava/util/function/IntUnaryOperator;)Ljava/util/stream/IntStream;> count 2

30 iload_1

31 invokedynamic #5 <applyAsInt, BootstrapMethods #1>

36 invokeinterface #4 <java/util/stream/IntStream.map : (Ljava/util/function/IntUnaryOperator;)Ljava/util/stream/IntStream;> count 2

41 invokedynamic #6 <applyAsInt, BootstrapMethods #2>

46 invokeinterface #4 <java/util/stream/IntStream.map : (Ljava/util/function/IntUnaryOperator;)Ljava/util/stream/IntStream;> count 2

51 invokeinterface #7 <java/util/stream/IntStream.sum : ()I> count 1

56 istore_2

57 return

3个lambda表达式对应3条invokedynamic指令:

15.jpg

第一个lambda表达式比较简单且典型,后续我们以其为抓手展开分析。

invokedynamic指令参数

invokedynamic指令参数结构如下:

16.jpg

++jvms-6.5.invokedynamic++ (https://docs.oracle.com/javase/specs/jvms/se8/html/jvms-6.html#jvms-6.5.invokedynamic)

invokedynamic指令需要指定其期待BSM返回的方法特征(出入参类型)和BSM方法引用。该参数以CONSTANT_InvokeDynamic_info结构存放在类文件的常量池结构中,invokedynamic用两个byte宽度的常量池索引号指定。

<code>CONSTANT_InvokeDynamic_info {

u1 tag;

u2 bootstrap_method_attr_index;

u2 name_and_type_index;

}

17.jpg

对照字节码我们可知,Lambda1相关的invokedynamic指定的CONSTANT_InvokeDynamic_info序号为3,得到如下内容:

18.jpg

19.jpg

期望的方法名称和描述符

该invokedynamic指令期望BSM0方法返回一个如下特征的方法引用:

<code>IntUnaryOperator anyName();

没有入参,返回值类型为IntUnaryOperator的MethodHandle。

为什么是返回IntUnaryOperator类型呢?因为IntStream的map方法需要的参数是IntUnaryOperator类型。

20.jpg

换句话说,该invokedynamic指令希望相应的BSM返回一个IntUnaryOperator的工厂方法句柄,然后invokedynamic指令再调用这个方法句柄,创建出一个map方法需要的IntUnaryOperator类型的参数。

BSM方法序号

BSM方法序号指定了当前invokedynamic指令使用的BSM方法在BSM方法表中的索引。

通俗来说,类文件中有一个数组,数组名称叫BootstrapMethods。其结构如下:

<code>BootstrapMethods_attribute {

u2 attribute_name_index;

u4 attribute_length;

u2 num_bootstrap_methods;

{ u2 bootstrap_method_ref;

u2 num_bootstrap_arguments;

u2 bootstrap_arguments[num_bootstrap_arguments];

} bootstrap_methods[num_bootstrap_methods];

}

21.jpg

22.jpg

23.jpg

该invokedynamic指令指定的BSM为BSM数组中的第一个BSM。

24.jpg

BSM方法

25.jpg

26.jpg

BSM方法参数

该BSM数据结构指定了3个编译期固定的、静态的BSM方法参数:

27.jpg

第一、第三个参数指定了预期的函数式接口(FunctionInterface)的特征:入参为int、出参为int。即上述IntUnaryOperator。

28.jpg

第二个参数是一个静态方法引用。如上述,Lambda表达式在编译时会被提取到一个自动生成的方法中。

29.jpg

30.jpg

至此,invokedynamic指令具有的发起【一阶段调用】的上下文如下

具体的一阶段调用的BSM方法:java.lang.invoke.LambdaMetafactory#metafactory

IntStream.map方法需要的参数类型:IntUnaryOperator

编译器(javac)编译产生的包含Lambda表达式代码内容的静态方法:lambda$main$0(I)I

接下来就是调用java.lang.invoke.LambdaMetafactory#metafactory方法,传递上述必要的上下文参数,接受metafactory方法返回的IntUnaryOperator applyAsInt()类型的MethodHandle并调用该MethodHandle,继而得到IntStream.map方法需要的参数:IntUnaryOperator。

LambdaMetafactory# metafactory

31.jpg

如上述,invokedynamic指令调用上述metafactory方法,对照字节码信息,可以得到如下具体参数表格:

32.jpg

LambdaMetafactory根据上述上下文,使用ASM库,动态生成了一个如下所示的IntUnaryOperator适配类,用于桥接Lambda表达式代码块到IntUnaryOperator类型。

添加-Djdk.internal.lambda.dumpProxyClasses=.启动参数,JDK会将生成的适配函数式接口的类源码输出到工作目录中。

构造CallSite

33.jpg

java.lang.invoke.InnerClassLambdaMetafactory#buildCallSite

生成FunctionalInterface适配类后,基于适配类创建MethodHandle。该MethodHandle体现的代码逻辑类似如下Java代码:

34.jpg

至此,invokedynamic【一阶段】调用已经完成,invokedynamic指令获取到了由LambdaMetafactory#metafactory作为BSM动态决策、动态生成的IntUnaryOperator适配类的【工厂方法】(以CallSite包装的MethodHandle的形式)

二阶段调用

【一阶段调用】已经完成,返回了动态决策产生的CallSite对象,getTarget方法可以获取上述的IntUnaryOperator适配类的【工厂方法】。

35.jpg

至此,invokedynamic指令可以通过如下伪代码,创建IntStream.map方法需要的IntUnaryOperator实例。

<code>IntUnaryOperator intUnaryOperator = (IntUnaryOperator)callSite.getTarget().invoke()

Lambda1的整个运行时解析、链接流程完成。

七、Lambda表达式性能

36.jpg

经过上述分析我们可以知道,Lambda1这种无状态的、没有捕获外部变量(闭包)的Lambda表达式的开销是很小的,只会在第一次调用时动态生成桥接的适配类,实例化后就通过ConstantCallSite缓存。后续所有的调用都不会再重新生成适配类、实例化适配类。

但是,Lambda2则不同,因为Lambda捕获、依赖了(闭包)外部变量num,那么这个表达式就是有状态的。虽然同样只是会在第一次调用时动态生成桥接的适配类,但是每一次调用都会使用num变量重新实例化一个新的适配类实例。这种场景下,其在性能和形式上就已经和传统的【匿名内部类】没有太大差别了。

Lambda3本质上和Lambda1一样,只不过不需要Java编译器在编译时将Lambda代码语句抽取成独立的方法

八、Lambda表达式和final变量

37.jpg

当Lambda表达式闭包捕获的局部变量num在方法内可变时,编译器会提示编译错误。这不是JVM的限制,而是Java语言层面的限制。笔者认为,这种限制没有技术上的原因,而是Java语言设计者刻意的借助编译器在阻止你犯错。

假设没有这个限制,那么Lambda表达式就变成了重构不友好的【位置相关】的代码块

换句话说,下面两种代码执行结果是不一样的:

38.jpg

Lambda捕获的num的值为5;

39.jpg

Lambda捕获的num的值为3;

如果没有类似的编译约束,当我们有心或无意的在复杂的业务逻辑中进行了类似的代码调整时,极易出错且难以排查。

笔者个人见解,欢迎指正。

九、总结

提笔的时候立意高远,想着要尽可能通俗详尽的写清楚所有涉及的技术点,但是越写越觉得事情不简单,最后只能是把博客标题从【深入剖析】修改为【浅析】。这块内容牵涉的面太广,笔者没有能力也没有精力介绍到事无巨细、面面俱到,只能为大家抛砖引玉,大家可以配合后文【参考资料】多梳理、多实验,同时在评论区批评指正。

invokedynamic指令不是业务开发者使用的。invokedynamic指令可以用来实现Lambda语法,但是它不是只能用来实现Lambda语法。这个指令对于JVM语言开发者比如Kotlin、Groovy、JRuby、Jython等会比较重要。

没有捕获外部变量(闭包)的Lambda表达式性能和直接调用没有差别。

捕获外部变量(闭包)的Lambda表达式性能理论上和【匿名内部类】范式一样,每次调用都会创建一个对象(最坏情况)。

本文使用的反编译工具为:jclasslib Bytecode Viewer

(https://plugins.jetbrains.com/plugin/9248-jclasslib-bytecode-viewer)

十、附录

自动生成的Lambda2适配类

// $FF: synthetic class

final class LambdaTest$$Lambda$2 implements IntUnaryOperator {

private final int arg$1;

private LambdaTest$$Lambda$2(int var1) {

this.arg$1 = var1;

}

private static IntUnaryOperator get$Lambda(int var0) {

return new LambdaTest$$Lambda$2(var0);

}

@Hidden

public int applyAsInt(int var1) {

return LambdaTest.lambda$main$1(this.arg$1, var1);

}

}

自动生成的Lambda3适配类

// $FF: synthetic class

final class LambdaTest$$Lambda$3 implements IntUnaryOperator {

private LambdaTest$$Lambda$3() {

}

@Hidden

public int applyAsInt(int var1) {

return LambdaTest.add(var1);

}

}

参考

Oracle-Java虚拟机规范(JDK8)–https://docs.oracle.com/javase/specs/jvms/se8/html/

Oracle-Java语言规范(JDK8)-https://docs.oracle.com/javase/specs/jls/se8/html/index.html

JVM系列之:JVM是怎么实现invokedynamic的? | HeapDump性能社区-https://heapdump.cn/article/3573623

Java 虚拟机:JVM是怎么实现invokedynamic的?(上)-https://cloud.tencent.com/developer/article/1787369

Java 虚拟机:JVM是怎么实现invokedynamic的?(下)-https://cloud.tencent.com/developer/article/1787371

【stackoverflow】What is a bootstrap method?-https://stackoverflow.com/questions/30733557/what-is-a-bootstrap-method

Java中普通lambda表达式和方法引用本质上有什么区别?-https://www.zhihu.com/question/51491241/answer/126232275

理解 invokedynamic-https://juejin.cn/post/6844903503236710414

https://www.cnblogs.com/wade-luffy/p/6058087.html

09 | JVM是怎么实现invokedynamic的?(下)-深入拆解Java虚拟机-极客时间-https://time.geekbang.org/column/article/12574

*文/ 羊羽

本文属得物技术原创,更多精彩文章请看:得物技术

未经得物技术许可严禁转载,否则依法追究法律责任!



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。