使用 GraalVM 打包 Native Image

dubbo3.0支持native-image文档

概述

本文档将介绍将dubbo3.0项目接入GraalVM，进行native-image编译为二进制的流程。

关于GraalVm的更多信息可以阅读 https://www.graalvm.org/docs/getting-started/container-images/ 此文档。

使用样例

在编译我们的dubbo项目之前，需要确保我们正基于graalVm的环境。

  1. 安装GraalVM

进入https://www.graalvm.org/ 官网根据自己的系统选取最新版本安装：

Native Image - 图1

安装完成后，修改配置JAVA_HOME的路径，生效后查看本地jdk可以看到如下：

Native Image - 图2 这里我们使用的基于jdk1.8版本的GraalVM。

  • 安装native-image，只需执行gu install native-image即可。
  1. 拉取dubbo代码，切换到apache:3.0分支。
  2. 手动执行生成SPI代码。

由于目前编译native-image不支持代码动态生成编译，所以有关代码动态生成的部分需要我们手动先生成，这里提供了工具函数：

Native Image - 图3 执行CodeGenerator即可在dubbo-native模块下生成SPI代码。

  1. 在根目录下执行install
  1. MacdeMacBook-pro-3:incubator-dubbo mac$ pwd
  3. /Users/mac/Documents/Mi/project/incubator-dubbo
  5. MacdeMacBook-pro-3:incubator-dubbo mac$ mvn clean package install -Dmaven.test.skip=true
  1. 编译demo项目

这里我们提供了可直接进行编译的示例项目，dubbo-demo/dubbo-demo-native。上面步骤install完成后，先到dubbo-demo-native的provider下，执行native-image编译：

  1.  mvn clean package -P native -Dmaven.test.skip=true

这里由于我们在maven中引入了native-image插件，所以直接-P native即可执行该插件。

Native Image - 图4 编译成功后可以在target下看到已经生成的二进制文件，本地启动一个zookeeper，直接执行该二进制，可见启动成功如下：

Native Image - 图5 consumer端同样执行编译，在consumer的target下也会生成二进制文件：demo-native-consumer,执行该二进制可以看到调用结果如下：

Native Image - 图6

具体步骤

实际上在这个demo下我们做了一些工作来确保项目可以编译执行，主要有以下几个步骤

  • 引入dubbo-native依赖
  1. <dependency>
  3.     <groupId>org.apache.dubbo</groupId>
  5.     <artifactId>dubbo-native</artifactId>
  7.     <version>${project.version}</version>
  9. </dependency>

该模块下有我们生成的SPI代码。

  • 引入native-image插件
  1. <plugin>
  3.     <groupId>org.graalvm.nativeimage</groupId>
  5.     <artifactId>native-image-maven-plugin</artifactId>
  7.     <version>21.0.0.2</version>
  9.     <executions>
  11.         <execution>
  13.             <goals>
  15.                 <goal>native-image</goal>
  17.             </goals>
  19.             <phase>package</phase>
  21.         </execution>
  23.     </executions>
  25.     <configuration>
  27.         <skip>false</skip>
  29.         <imageName>demo-native-provider</imageName>
  31.         <mainClass>org.apache.dubbo.demo.graalvm.provider.Application</mainClass>
  33.         <buildArgs>
  35.             --no-fallback
  37.             --initialize-at-build-time=org.slf4j.MDC
  39.             --initialize-at-build-time=org.slf4j.LoggerFactory
  41.             --initialize-at-build-time=org.slf4j.impl.StaticLoggerBinder
  43.             --initialize-at-build-time=org.apache.log4j.helpers.Loader
  45.             --initialize-at-build-time=org.apache.log4j.Logger
  47.             --initialize-at-build-time=org.apache.log4j.helpers.LogLog
  49.             --initialize-at-build-time=org.apache.log4j.LogManager
  51.             --initialize-at-build-time=org.apache.log4j.spi.LoggingEvent
  53.             --initialize-at-build-time=org.slf4j.impl.Log4jLoggerFactory
  55.             --initialize-at-build-time=org.slf4j.impl.Log4jLoggerAdapter
  57.             --initialize-at-build-time=org.eclipse.collections.api.factory.Sets
  59.             --initialize-at-run-time=io.netty.channel.epoll.Epoll
  61.             --initialize-at-run-time=io.netty.channel.epoll.Native
  63.             --initialize-at-run-time=io.netty.channel.epoll.EpollEventLoop
  65.             --initialize-at-run-time=io.netty.channel.epoll.EpollEventArray
  67.             --initialize-at-run-time=io.netty.channel.DefaultFileRegion
  69.             --initialize-at-run-time=io.netty.channel.kqueue.KQueueEventArray
  71.             --initialize-at-run-time=io.netty.channel.kqueue.KQueueEventLoop
  73.             --initialize-at-run-time=io.netty.channel.kqueue.Native
  75.             --initialize-at-run-time=io.netty.channel.unix.Errors
  77.             --initialize-at-run-time=io.netty.channel.unix.IovArray
  79.             --initialize-at-run-time=io.netty.channel.unix.Limits
  81.             --initialize-at-run-time=io.netty.util.internal.logging.Log4JLogger
  83.             --initialize-at-run-time=io.netty.channel.unix.Socket
  85.             --initialize-at-run-time=io.netty.channel.ChannelHandlerMask
  89.             --report-unsupported-elements-at-runtime
  91.             --allow-incomplete-classpath
  93.             --enable-url-protocols=http
  95.             -H:+ReportExceptionStackTraces
  97.         </buildArgs>
  99.     </configuration>
  101. </plugin>

其中定义了生成的镜像名以及一些构建镜像的参数。

  • 挂载native-image-agent

由于我们需要将一些反射、JNI等类先指定出来，我们需要先使用该agent以正常方式运行一遍生成这些类的json形式的信息。

在启动参数中添加：

  1. -agentlib:native-image-agent=config-output-dir=/tmp/config/,config-write-period-secs=300,config-write-initial-delay-secs=5

以正常方式启动，在项目的resources下建立文件夹META-INF.native-image，把在本地目录中生成的文件粘进去：

Native Image - 图7 （可能会有缺漏没有生成的类信息，需要根据编译或运行时的报错信息手动添加。）

完成以上几步后就可以进行项目的编译了。

最后修改 September 21, 2021: Bug fix miss mialbox (#953) (57cf51b)