Android兼容Java 8语法特性的原理分析

本文主要阐述了Lambda表达式及其底层实现(invokedynamic指令)的原理、Android第三方插件RetroLambda对其的支持过程、Android官方最新的dex编译器D8对其的编译支持。通过对这三个方面的跟踪分析,以Java 8的代表性特性——Lambda表达式为着眼点,将Android如何兼容Java8的过程分享给大家。

Java 8概述

Java 8是Java开发语言非常重要的一个版本。Oracle从2014年3月18日发布Java 8,从该版本起,Java开始支持函数式编程。特别是吸收了运行在JVM上的Scala、Groovy等动态脚本语言的特性之后,Java 8在语言的表达力、简洁性两个方面有了很大的提高。

Java 8的主要语言特性改进概括起来包括以下几点:

  • Lambda表达 (函数闭包)
  • 函数式接口 (@FunctionalInterface)
  • Stream API (通过流式调用支持map、filter等高阶函数)
  • 方法引用(使用::关键字将函数转化为对象)
  • 默认方法(抽象接口中允许存在default修饰的非抽象方法)
  • 类型注解和重复注解

其中Lambda表达、函数式接口、方法引用三个特性为Java带来了函数式编程的风格;而Stream实现了map、filter、reduce等常见的高阶函数,数据源囊括了数组、集合、IO通道等,这些又为Java带来了流式编程或者说链式编程的风格,以上这些风格让Java变得越来越现代化和易用。

Android和Java关系

其实Java在Android的快速发展过程中扮演着非常重要的角色,无论是作为开发语言(Java)、开发Framework(Android-SDK引用了80%的JDK-API),还是开发工具(Eclipse or Android Studio)。这些都和Java有着千丝万缕的关系。不过可能是受到与Oracle的法律诉讼的影响,Google在Android上针对Java的升级一直都不是很积极:

  • Android 从1.0 一直升级到4.4,迭代了将近19个Android版本,才在4.4版本中支持了Java 7。
  • 然后从Android 4.4版本开始算起,一直到Android N(7.0)共4个Android版本,才在Jack/Jill工具链勉强支持了Java 8。但由于Jack/Jill工具链在构建流程中舍弃了原有Java字节码的体系,导致大量既有的技术沉淀无法应用,致使许多App工程放弃了接入。
  • 最后直到Android P(9.0)版本, Google 才在Android Studio 3.x中通过新增的D8 dex编译器正式支持了Java 8,但部分API并不能全版本支持。

可谓“历经坎坷”。特别是Rx大行其道的今天,Rx配合Java 8特性Lambda带来简洁、高效的开发体验,更是让Android Developer望眼欲穿。

接下来,本文将从技术原理层面,来分析一下Android是如何支持Java 8的。

Lambda 表达式

想要更好的理解Android对Java 8的支持过程,Lambda表达式这一代表性的“语法糖”是一个非常不错的切入点。所以,我们首先需要搞清楚Lambda表达式到底是什么?其底层的实现原理又是什么?

Lambda表达式是Java支持函数式编程的基础,也可以称之为闭包。简单来说,就是在Java语法层面允许将函数当作方法的参数,函数可以当做对象。任一Lambda表达式都有且只有一个函数式接口与之对应,从这个角度来看,也可以说是该函数式接口的实例化。

Lambda表达式

通用格式:

简单范例:

说明:

  • Lambda表达式中 () 对应的是函数式接口-run方法的参数列表。
  • Lambda表达式中 System.out.println(“xixi”) / System.out.println(“haha”),在运行时会是具体的run方法的实现。

Lambda表达式原理

针对实例中的代码,我们来看下编译之后的字节码:

javac J8Sample.java  ->  J8Sample.classjavap -c -p J8Sample.class 

从字节码中我们可以看到:

  • 实例中Lambda表达式1变成了字节码代码块中 Line 11的 0: invokedynamic #2,  0   // InvokeDynamic #0:run:()Ljava/lang/Runnable。
  • 实例中Lambda表达式2变成了字节码代码块中 Line 20的 21: invokedynamic #6,  0   // InvokeDynamic #1:run:()Ljava/lang/Runnable。

可见,Lambda表达式在虚拟机层面上,是通过一种名为invokedynamic字节码指令来实现的。那么invokedynamic又是何方神圣呢?

invokedynamic 指令解读

invokedynamic指令是Java 7中新增的字节码调用指令,作为Java支持动态类型语言的改进之一,跟invokevirtual、invokestatic、invokeinterface、invokespecial四大指令一起构成了虚拟机层面各种Java方法的分配调用指令集。区别在于:

  • 后四种指令,在编译期间生成的class文件中,通过常量池(Constant Pool)的MethodRef常量已经固定了目标方法的符号信息(方法所属者及其类型,方法名字、参数顺序和类型、返回值)。虚拟机使用符号信息能直接解释出具体的方法,直接调用。
  • 而invokedynamic指令在编译期间生成的class文件中,对应常量池(Constant Pool)的Invokedynamic_Info常量存储的符号信息中并没有方法所属者及其类型 ,替代的是BootstapMethod信息。在运行时, 通过引导方法BootstrapMethod机制动态确定方法的所属者和类型。这一特点也非常契合动态类型语言只有在运行期间才能确定类型的特征。

那么,invokedynamic如何通过引导方法找到所属者及其类型?我们依然结合前面的J8Sample实例:

javap -v J8Sample.class

结合J8Sample.class字节码,并对invokedynamic指令调用过程进行跟踪分析。总结如下:

依据上图invokedynamic调用步骤,我们一步一步做一个分析讲解。步骤1 选取J8Sample.java源码中Lambda表达式1:

Runnable runnable = () -> System.out.println(“xixi”);    // lambda表达式1步骤2 通过javac J8Sample.java编译得到J8Sample.class之后,Lambda表达式1变成:0: invokedynamic #2,  0    // InvokeDynamic #0:run:()Ljava/lang/Runnable;对应在J8Sample.class中发现了新增的私有静态方法:

步骤3 针对表达式1的字节码分析 #2 对应的是class文件中的常量池:

#2 = InvokeDynamic      #0:#35         // #0:run:()Ljava/lang/Runnable;   注意,这里InvokeDynamic不是指令,代表的是Constant_InvokeDynamic_Info结构。

步骤4 结构后面紧跟的 #0 标识的是class文件中的BootstrapMethod区域中引导方法的索引:

步骤5 引导方法中的java/lang/invoke/LambdaMetafactory.metafactory才是invokedynamic指令的关键:

该方法会在运行时,在内存中动态生成一个实现Lambda表达式对应函数式接口的实例类型,并在接口的实现方法中调用步骤2中新增的静态私有方法。步骤6 使用java -Djdk.internal.lambda.dumpProxyClasses J8Sample.class运行一下,可以内存中动态生成的类型输出到本地:

步骤7 通过javap -p -c J8Sample\$\$Lambda\$1.class反编译一下,可以看到生成类的实现:

在run方法中使用了invokestatic指令,直接调用了J8Sample.lambda$main$0这个在编译期间生成的静态私有方法。

至此,上面7个步骤就是Lambda表达式在Java的底层的实现原理。Android 针对这些实现会怎么处理呢?

Android不能直接支持

回到Android系统上,Java-Bytecode(JVM字节码)是不能直接运行在Android系统上的,需要转换成Android-Bytecode(Dalvik/ART 字节码)。

如图:

通过Lambda这节,我们知道Java底层是通过invokedynamic指令来实现,由于Dalvik/ART并没有支持invokedynamic指令或者对应的替代功能。简单的来说,就是Android的dex编译器不支持invokedynamic指令,导致Android不能直接支持Java 8。

Android间接支持

既然不能直接支持,那就只能在Java-Bytecode转换到Android-Bytecode这一过程中想办法,间接支持。这个间接支持的过程我们统称为Desugar(脱糖)过程。

官方流程图:

当前,无论是RetroLambda,还是Google的Jack & Jill 工具,还是最新的D8 dex编译器:

  • 流程方面:都是按照如上图所示的官方流程进行Desugar的。
  • 原理方面:却是参照Lambda在Java底层的实现,并将这些实现移至到RetroLambda插件或者Jack、D8编译器工具中。

下面我们逐个分析解读一下。

Android 间接支持之RetroLambda

如图所示,RetroLambda 的Desugar过程发生在javac将源码编译完成之后,dx工具进行dex编译之前。

RetroLambda Desugar

参照invokedynamic指令解读一节中的步骤5,根据java/lang/invoke/LambdaMetafactory.metafactory方法,直接将原本在运行时生成在内存中的J8Sample\$\$Lambda\$1.class,在javac编译结束之后,dx编译dex之前,直接生成到本地,并使用生成的J8Sample\$\$Lambda\$1类修改J8Sample.class字节码文件,将J8Sample.class中的invokedynamic指令替换成invokestatic指令。

将实例中的J8Sample.java放到一个配置了Retrolambda的Android工程中:

AndroidStudio -> Build -> make project 编译之后:

app:transformClassesWithRetrolambdaForDebug任务发生在app:compileDebugJavaWithJavac (javac)后,app:transformDexArchiveWithDexMergerForDebug (dx)之前,同时在build/intermediates/transforms/retrolambda下面生产如图所示的class文件。

J8Sample.class和J8Sample$$Lambda$1.class反编译之后的代码如下:

通过反编译代码,可以看出J8Sample.class中Lambda表达式已经被我们熟悉的1.7or1.6的语句所替代。注意:右图中J8Sample.lambda$main$0()方法在左图中没有显示出来,但是J8Sample.class字节码确实是存在的。Android间接支持之Jack&Jill工具

Jack是基于Eclipse的ecj编译开发的, Jill是基于ASM4开发的。Jack&Jill工具链是Google在Android N(7.0)发布的,用于替换javac&dx的工具链,并且在jack过程内置了Desugar过程。

但是在Android P(9.0) 的时候将Jack&Jill工具链废弃了,被javac&D8工具链替代了。这里就不做Desugar具体分析了。

Android间接支持之D8

D8是Android P(9.0)新增的dex编译器。并在Android Studio 3.1版本中默认使用D8作为dex的默认编译器。

D8 Desugar

如图所示,Desugar过程放在了D8的内部,由Android Studio这个IDE来实现这个转换,原理基本和RetroLambda是一样。

本质上也是参照java/lang/invoke/LambdaMetafactory.metafactory方法直接将原本在运行时生成在内存中的J8Sample\$\$Lambda\$1.class,在D8的编译dex期间,直接生成并写入到dex文件中。

同样,将实例中的J8Sample.java放到支持D8的Android工程中:

同样,AndroidStudio -> Build -> make project编译之后:

javac编译之后的J8Sample.class还是使用invokedynamic指令,即这一步并没有Desugar:

app:transformDexArchiveWithDexMergerForDebug(对应dx)任务之后,再对应build/intermediates/transforms/dexMerger目录找第0个classex.dex。

执行$ANDROID_HOME/build-tools/28.0.3/dexdump -d classes.dex >> dexInfo.txt拿到dex信息。

还是选取实例中Lambda表达式1 :Runnable runnable = () -> System.out.println(“xixi”);来进行分析。这个dexIno.txt文件非常大,有1.4M,我们通过com.J8Smaple2.J8Sample找到我们J8Sample在dex中位置。

新增方法:

J8Sample.main方法:

图中选中部分,对应就是Lambda表达式1 desugar之后的内容。翻译成Java的话就变成了:new Lcom/j8sample2/-$$Lambda$J8Sample$jWmuYH0zEF070TKXrjBFgnnqOKc这个生成类的一个对象。类Lcom/j8sample2/-$$Lambda$J8Sample$jWmuYH0zEF070TKXrjBFgnnqOKc对应前面的生成的J8Sample$$Lambda$1类型,只不过数字1变成了Hash值。

实现Interface Ljava/lang/Runnable。Lcom/j8sample2/-$$Lambda$J8Sample$jWmuYH0zEF070TKXrjBFgnnqOKc.run方法:

到这里,是不是和前面RetroLambda就一样了。

总结

至此,Lambda及其invokedynamic指令、RetroLambda插件、D8编译器各自的原理分析都已经结束了。

相比较Lambda在Java8自己内部的实现:即运行时,在内存中动态生成关联的函数式接口的实例类型,通过BSM-引导方法找到该内存类(字节码层面的反射)。

在Android上的其他三种Desugar方式,原理都是一样的,区别在于时机不同:

  1. RetroLambda将函数式接口对应的实例类型的生产过程,放在javac编译之后,dx编译之前,并动态修改了表达式所属的字节码文件。
  2. Jack&Jill是直接将接口对应的实例类型,直接jack过程中生成,并编译进了dex文件。
  3. D8的过程是在dex编译过程中,直接在内存生成接口对应的实例类型,并将生成的类型直接写入生成的dex文件中。

探讨

无论是RetroLambda,还是D8,对Java8的特性也不是全都支持。

Java8新增的许多API(例如:新的DataAPI),就D8编译器而言,只有在Android P(9.0)版本中能直接运行。低于9.0就不行了。如何能够全版本支持Java 8。D8还有很长的一段路要走。

如果我们在低版本需要使用新的API,目前可以采取将这些API打包进去的临时办法。

写到这里,肯定有人要提出,为什么不直接使用Kotlin呢?确实Kotlin对Lambda表达式、函数引用等特性都做了很好的支持,但是现实的情况中,Kotlin很难取代Android中的Java。新业务、新工程还相对容易,对老业务来说,尤其是经过多年沉淀,工程结构复杂,迁移改造带来的收益,往往远远小于迁移改造带来的成本和不可控之风险。Kotlin和Java同时存在的情况,长期来看是一个必然的结果。

至于Java 8的其他特性呢,D8是如何实现的,也可以按照上面类似的方式去分析,甚至可以结合Kotlin实现的方式,一探究竟。

作者简介

元合、朝旭,美团到店事业群前端工程师。

Image placeholder
right
未设置
  13人点赞

没有讨论,发表一下自己的看法吧

推荐文章
ie不兼容jquery怎么办?

解决方法:1、可以使用原生JS或者低版本的Jquery1.x版本。因为Jquery从2.x版本开始已经不再进行IE低版本(IE6、IE7、IE8)的兼容性处理。如果需要兼容低版本的IE版本,建议使用原

OpenStack容器服务Zun初探与原理分析

01Zun服务简介Zun是OpenStack的容器服务(ContainersasService),类似于AWS的ECS服务,但实现原理不太一样,ECS是把容器启动在EC2虚拟机实例上,而Zun会把容器

Elasticsearch 数据写入原理分析

前言最近TL分享了下《Elasticsearch基础整理》https://www.jianshu.com/p/e82…,蹭着这个机会。写个小文巩固下,本文主要讲ES->Lucene的底层结构,然后详细

Nacos 服务注册与发现原理分析

Nacos另一个非常重要的特性就是服务注册与发现,说到服务的注册与发现相信大家应该都不陌生,在微服务盛行的今天,服务是非常重要的,而在Nacos中服务更被称为他的一等公民。Nacos支持几乎所有主流类

12 款最佳的 Android 防病毒工具

Android防病毒工具有很多,本文将介绍12款最佳工具在保护度、使用性和功能方面的表现。 下面是根据AV-TEST针对20款Android安全应用,于2019年6月评估的12款最佳商业级And

自动识别Android不合理的内存分配

写在前面Android开发中我们常常会遇到不合理的内存分配导致的问题,或是频繁GC,或是OOM。按照常规的套路我们需要打开AndroidStudio录制内存分配或者dump内存,然后人工分析,逐个排查

Android篇 | 爱奇艺App启动优化实践分享

导读性能优化一直都是各个APP推进中的重点、难点,爱奇艺App也不例外。在此之前,爱奇艺AppAndroid版的启动速度虽然一直处于同类App领先的水平,但优势距离其他同类的APP距离一直很小。面

谷歌云重磅推出混合云平台Anthos,兼容竞争对手云服务 | Google Cloud Next’19

大数据文摘出品作者:蒋宝尚、周素云当地时间4月9日,谷歌云年度盛会GoogleCloud Next’19在旧金山的Moscone召开。在会上,谷歌云的新任CEO,曾经的甲骨文二号人物ThomasKur

css不同浏览器兼容性问题怎么解决?

css不同浏览器兼容性问题的解决方案1.浏览器CSS样式初始化由于每个浏览器的css默认样式不尽相同,所以最简单有效的方式就是对其进行初始化,相信很多朋友都写过这样的代码,在所有CSS开始前,先把ma

css样式不兼容怎么办?

1、使用浏览器私有属性我们经常会在某个CSS的属性前添加一些前缀,比如-webkit-,-moz-,-ms-,这些就是浏览器的私有属性。为什么会出现私有属性呢?这是因为制定HTML和CSS标准的组织W

css属性兼容性详解

盒模型属性【宽高width/height】(全兼容)widthheight(IE6-不支持)min-widthmax-widthmin-heightmax-height【内边距padding】padd

jquery不兼容低版本ie浏览器怎么办?

jquery不兼容低版本ie浏览器怎么办?1、可以使用原生JS或者低版本的Jquery1.x版本。因为Jquery从2.x版本开始已经不再进行IE低版本(IE6、IE7、IE8)的兼容性处理。如果需要

安防摄像头网页无插件直播流媒体服务器EasyNVR在IE浏览器下的 pointer-events- none前端兼容性调试

背景说明由于互联网的飞速发展,传统安防摄像头的视频监控直播与互联网直播相结合是大势所趋。传统安防的直播大多在一个局域网内,在播放的客户端上也是有所限制,一般都需要OCXWeb插件进行直播。对于安防监控

create-react-app兼容ie11配置

今天闲来无事折腾一下create-react-app,发现主流浏览器都没有问题。但是ie11却一直报错,真是倔强的很啊。我翻了下create-react-app的文档,从中看到了正好有对ie9、ie1

兼容性常规检测

引子碰到检查支持font-family的疑问,一时想不出,查了资料后解惑。顺便在此对是否支持的检测方式,进行一些基本的归纳。 Origin MyGitHub HTML检测浏览器并不会对HTML进行编译

数据结构与算法分析——开篇以及复杂度分析

开篇 你也许已经发现了,工作了几年,原以为已经是一只老鸟。但看到刚参加工作的同事,你发现,原来自己一直在原地踏步。跟新人相比,你的唯一优势就是对业务更熟悉而已,别的就没有什么优势了。 怎样才能够让自己

数据结构与算法分析——开篇以及复杂度分析

开篇你也许已经发现了,工作了几年,原以为已经是一只老鸟。但看到刚参加工作的同事,你发现,原来自己一直在原地踏步。跟新人相比,你的唯一优势就是对业务更熟悉而已,别的就没有什么优势了。怎样才能够让自己更上

Python数据分析实战 | 爬遍拉勾网,带你看看数据分析师还吃香吗?

微信公众号:「Python读财」如有问题或建议,请公众号留言伴随着移动互联网的飞速发展,越来越多用户被互联网连接在一起,用户所积累下来的数据越来越多,市场对数据方面人才的需求也越来越大,由此也带火了如

PHP 内核:讲下 PHP 7 底层虚拟机工作原理 —— Zend Virtual Machine 7.2 版本

本文旨在提供Zend虚拟机的概述,如php7所示。这不是一个全面的描述,但我试图涵盖大部分重要部分,以及一些更精细的细节。 此描述针对的是PHP7.2版(目前正在开发中),但几乎所有内容都适用于PHP

Pandas数据分析——超好用的Groupby详解

微信公众号:「Python读财」如有问题或建议,请公众号留言在日常的数据分析中,经常需要将数据根据某个(多个)字段划分为不同的群体(group)进行分析,如电商领域将全国的总销售额根据省份进行划分,分

学计算机我后悔了的原因盘点

  学计算机我后悔了的原因盘点,课程进度快加班多、技术更新换代快需要不断学习,整个IT行业对快速迭代要求很高越快占领市场越好。产品质量难以把控,会频繁出现bug需要及时修改bug。   学计算机我后悔

开发者为什么不愿意参与开源贡献?不仅是钱的原因

  对企业和开发人员来说,开源贡献具有重要意义。它能帮助企业建立自己的开源标准,同时能够吸引多样化人才,可以帮助开发人员丰富开发经验,提升个人能力。但事实上,如此明显的优势并没有吸引更多的开发人员从事

形势逼人,这就是我想进大厂的原因

今天朋友圈里好多人都在讲,「人民币破7,经济如何如何」等巴拉巴拉的,说的还头头是道,其实没什么可焦虑的,好像你有很多人民币似的。说的直白点,没钱的,几乎不受什么影响。土哥就说一句,一顿分析猛如虎,涨跌

ie加载不了css的原因是什么?

可能原因如下:1.HTML页面编码与CSS编码不同(如HTML为gbk,CSS为utf-8)。2.CSS文件中未指定@charset头声明,导致IE默认使用页面编码来解码CSS文件(DEMO中IE浏览

ie加载不出css样式的原因有哪些?

ie加载不出css样式的原因有哪些?可能的原因如下:1.HTML页面编码与CSS编码不同(如HTML为gbk,CSS为utf-8);2.CSS文件中未指定@charset头声明,导致IE默认使用页面编