本文档介绍如何在 ARM64 平台上编译 Doris。

注意，该文档仅作为指导性文档。在不同环境中编译可能出现其他错误。如遇问题，欢迎向 Doris 提出 Issue 或解决方案。

Arm 平台上编译 - 图1提示

目前还不支持存算分离模式编译部署

硬件/操作系统环境

  • 系统版本：CentOS 7.9、Ubuntu 20.04

  • 系统架构：ARM64

  • 内存：16 GB +

软件环境配置

软件环境对照表

组件名称组件版本
Git2.0+
JDK1.8.0
Maven3.6.3
NodeJS16.3.0
LDB-Toolchain0.9.1
常备环境：byacc patch automake libtool make which file ncurses-devel gettext-devel unzip bzip2 zip util-linux wget git python2yum 或 apt 自动安装即可
autoconf2.69
bison3.0.4

CentOS 7.9 软件环境安装

1. 创建软件下载安装包根目录和软件安装根目录

  1. # 创建软件下载安装包根目录
  2. mkdir /opt/tools
  4. # 创建软件安装根目录
  5. mkdir /opt/software

2. 安装依赖项

  1. ### Git ###
  2. # 省去编译麻烦，直接使用 yum 安装
  3. yum install -y git
  5. ### JDK8 两种方式，任选一种 ###
  6. # 第一种是省去额外下载和配置，直接使用 yum 安装，安装 devel 包是为了获取一些工具，如 jps 命令
  7. yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel        
  8. # 第二种是下载 ARM64 架构的安装包，解压配置环境变量后使用
  9. cd /opt/tools
  10. wget https://doris-thirdparty-repo.bj.bcebos.com/thirdparty/jdk-8u291-linux-aarch64.tar.gz && tar -zxvf jdk-8u291-linux-aarch64.tar.gz && \
  11. mv jdk1.8.0_291 /opt/software/jdk8
  13. ### Maven ###
  14. cd /opt/tools
  15. # wget 工具下载后，直接解压缩配置环境变量使用
  16. wget https://archive.apache.org/dist/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz && tar -zxvf apache-maven-3.6.3-bin.tar.gz && \
  17. mv apache-maven-3.6.3 /opt/software/maven
  19. ### NodeJS ###
  20. cd /opt/tools
  21. # 下载 ARM64 架构的安装包
  22. wget https://doris-thirdparty-repo.bj.bcebos.com/thirdparty/node-v16.3.0-linux-arm64.tar.xz && tar -xvf node-v16.3.0-linux-arm64.tar.xz && \
  23. mv node-v16.3.0-linux-arm64 /opt/software/nodejs
  25. ### LDB-Toolchain ###
  26. cd /opt/tools
  27. # 下载 LDB-Toolchain ARM 版本
  28. wget https://github.com/amosbird/ldb_toolchain_gen/releases/download/v0.9.1/ldb_toolchain_gen.aarch64.sh && sh ldb_toolchain_gen.aarch64.sh /opt/software/ldb_toolchain/
  30. ### 其他 ###
  31. # install required system packages
  32. sudo yum install -y byacc patch automake libtool make which file ncurses-devel gettext-devel unzip bzip2 bison zip util-linux wget git python2
  34. # install autoconf-2.69
  35. cd /opt/tools
  36. wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz && \
  37.     tar zxf autoconf-2.69.tar.gz && \
  38.     mv autoconf-2.69 /opt/software/autoconf && \
  39.     cd /opt/software/autoconf && \
  40.     ./configure && \
  41.     make && \
  42.     make install

3. 配置环境变量

  1. # 配置环境变量
  2. vim /etc/profile.d/doris.sh
  3. export JAVA_HOME=/opt/software/jdk8
  4. export MAVEN_HOME=/opt/software/maven
  5. export NODE_JS_HOME=/opt/software/nodejs
  6. export LDB_HOME=/opt/software/ldb_toolchain
  7. export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$NODE_JS_HOME/bin:$LDB_HOME/bin:$PATH
  9. # 保存退出并刷新环境变量
  10. source /etc/profile.d/doris.sh
  12. # 测试是否成功
  13. java -version
  14. > java version "1.8.0_291"
  15. mvn -version
  16. > Apache Maven 3.6.3
  17. node --version
  18. > v16.3.0
  19. gcc --version
  20. > gcc-11

Ubuntu 20.04 软件环境安装

1. 更新 apt-get 软件库

  1. apt-get update

2. 重新配置 shell

  1. # Ubuntu 的 shell 默认安装的是 dash，而不是 bash，要切换成 bash 才能执行，运行以下命令查看 sh 的详细信息，确认 shell 对应的程序是哪个：
  2. ls -al /bin/sh
  4. # 通过以下方式可以使 shell 切换回 bash
  5. sudo dpkg-reconfigure dash
  6. # 然后选择 no 或者 否 ，并确认。这样做将重新配置 dash，并使其不作为默认的 shell 工具

3. 创建软件下载安装包根目录和软件安装根目录

  1. # 创建软件下载安装包根目录
  2. mkdir /opt/tools
  4. # 创建软件安装根目录
  5. mkdir /opt/software

4. 安装依赖项

  1. ### Git ###
  2. # 省去编译麻烦，直接使用 apt-get 安装
  3. apt-get -y install git
  5. ### JDK8 ###      
  6. # 下载 ARM64 架构的安装包，解压配置环境变量后使用
  7. cd /opt/tools
  8. wget https://doris-thirdparty-repo.bj.bcebos.com/thirdparty/jdk-8u291-linux-aarch64.tar.gz && tar -zxvf jdk-8u291-linux-aarch64.tar.gz && \
  9. mv jdk1.8.0_291 /opt/software/jdk8
  11. ### Maven ###
  12. cd /opt/tools
  13. # wget 工具下载后，直接解压缩配置环境变量使用
  14. wget https://dlcdn.apache.org/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz && tar -zxvf apache-maven-3.6.3-bin.tar.gz && \
  15. mv apache-maven-3.6.3 /opt/software/maven
  17. ### NodeJS ###
  18. cd /opt/tools
  19. # 下载 ARM64 架构的安装包
  20. wget https://doris-thirdparty-repo.bj.bcebos.com/thirdparty/node-v16.3.0-linux-arm64.tar.xz && tar -xvf node-v16.3.0-linux-arm64.tar.xz && \
  21. mv node-v16.3.0-linux-arm64 /opt/software/nodejs
  23. ### LDB-Toolchain ###
  24. cd /opt/tools
  25. # 下载 LDB-Toolchain ARM 版本
  26. wget https://github.com/amosbird/ldb_toolchain_gen/releases/download/v0.9.1/ldb_toolchain_gen.aarch64.sh && sh ldb_toolchain_gen.aarch64.sh /opt/software/ldb_toolchain/
  28. ### 其他 ###
  29. # install required system packages
  30. sudo apt install -y build-essential cmake flex automake bison binutils-dev libiberty-dev zip libncurses5-dev curl ninja-build
  31. sudo apt-get install -y make
  32. sudo apt-get install -y unzip
  33. sudo apt-get install -y python2
  34. sudo apt-get install -y byacc
  35. sudo apt-get install -y automake
  36. sudo apt-get install -y libtool
  37. sudo apt-get install -y bzip2
  38. sudo add-apt-repository ppa:ubuntu-toolchain-r/ppa 
  39. sudo apt update
  40. sudo apt install gcc-11 g++-11 
  41. sudo apt-get -y install autoconf autopoint
  43. # install autoconf-2.69
  44. cd /opt/tools
  45. wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz && \
  46.     tar zxf autoconf-2.69.tar.gz && \
  47.     mv autoconf-2.69 /opt/software/autoconf && \
  48.     cd /opt/software/autoconf && \
  49.     ./configure && \
  50.     make && \
  51.     make install

5. 配置环境变量

  1. # 配置环境变量
  2. vim /etc/profile.d/doris.sh
  3. export JAVA_HOME=/opt/software/jdk8
  4. export MAVEN_HOME=/opt/software/maven
  5. export NODE_JS_HOME=/opt/software/nodejs
  6. export LDB_HOME=/opt/software/ldb_toolchain
  7. export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$NODE_JS_HOME/bin:$LDB_HOME/bin:$PATH
  9. # 保存退出并刷新环境变量
  10. source /etc/profile.d/doris.sh
  12. # 测试是否成功
  13. java -version
  14. > java version "1.8.0_291"
  15. mvn -version
  16. > Apache Maven 3.6.3
  17. node --version
  18. > v16.3.0
  19. gcc --version
  20. > gcc-11

编译

目前 ARM 环境仅推荐使用 LDB Toolchain 进行编译。

在 ARM 平台编译 Doris 时，请关闭 AVX2 和 LIBUNWIND 三方库：

  1. export USE_AVX2=OFF
  2. export USE_UNWIND=OFF

然后参考 使用 LDB Toolchain 编译文档，进行编译。

常见问题

1. 编译第三方库 libhdfs3.a，找不到文件夹

在执行编译安装过程中，出现了如下报错 not found lib/libhdfs3.a file or directory。

问题原因：第三方库的依赖下载有问题。

解决方案：使用第三方库下载仓库

  1. export REPOSITORY_URL=https://doris-thirdparty-repo.bj.bcebos.com/thirdparty
  2. sh /opt/doris/thirdparty/build-thirdparty.sh

REPOSITORY_URL 中包含所有第三方库源码包和他们的历史版本。

2. Python 命令未找到

执行 build.sh 时抛出异常：

  1. /opt/doris/env.sh: line 46: python: command not found

问题可能原因：系统默认使用 python2.7、 python3.6、python2、python3 这几个命令来执行 python 命令，Doris 安装依赖需要 python 2.7+ 版本即可，故只需要添加名为 python 的命令连接即可，使用版本 2 和版本 3 的都可以。

解决方案：建立 \usr\bin 中 python 命令的软连接，比如：

  1. sudo ln -s /usr/bin/python2.7 /usr/bin/python

3. 编译结束后没有 output 目录

build.sh 执行结束后，目录中未发现 output 文件夹。

问题原因：未成功编译，需重新编译。

解决方案如下：

  1. sh build.sh --clean

4. 剩余空间不足，编译失败

编译过程中报“构建 CXX 对象失败，提示剩余空间不足”。

fatal error: error writing to /tmp/ccKn4nPK.s: No space left on device 1112 | } // namespace doris::vectorized compilation terminated.

解决方案：扩大设备剩余空间，如删除不需要的文件等。

5. 在 pkg.config 中找不到 pkg.m4 文件

编译过程中出现了找不到文件错误，报错如下：

Couldn't find pkg.m4 from pkg-config. Install the appropriate package for your distribution or set ACLOCAL_PATH to the directory containing pkg.m4.

通过查找上面的日志，发现是 libxml2 这个三方库在编译的时候出现了问题。

问题原因：libxml2 三方库编译错误，找不到 pkg.m4 文件。很有可能是：

  • Ubuntu 系统加载环境变量时有异常，导致 ldb 目录下的索引未被成功加载；

  • 在 libxml2 编译时检索环境变量失效，导致编译过程没有检索到 ldb/aclocal 目录。

解决方案是：将 ldb/aclocal 目录下的 pkg.m4 文件拷贝至 libxml2/m4 目录下，重新编译第三方库

  1.  cp /opt/software/ldb_toolchain/share/aclocal/pkg.m4 /opt/doris/thirdparty/src/libxml2-v2.9.10/m4
  2.  sh /opt/doris/thirdparty/build-thirdparty.sh

6. 执行测试 CURL_HAS_TLS_PROXY 失败

三方包编译过程报错，错误如下：

-- Performing Test CURL_HAS_TLS_PROXY - Failed CMake Error at cmake/dependencies.cmake:15 (get_property): INTERFACE_LIBRARY targets may only have whitelisted properties. The property "LINK_LIBRARIES_ALL" is not allowed.

查看日志以后，发现内部是由于 curl No such file or directory

fa``tal error: curl/curl.h: No such file or directory 2 | #include <curl/curl.h> compilation terminated. ninja: build stopped: subcommand failed.

问题原因：编译环境有错误，查看 gcc 版本后发现是系统自带的 9.3.0 版本，故而没有走 ldb 编译，需设置 ldb 环境变量。

解决方案：配置 ldb 环境变量：

  1.  # 配置环境变量
  2.  vim /etc/profile.d/ldb.sh
  3.  export LDB_HOME=/opt/software/ldb_toolchain
  4.  export PATH=$LDB_HOME/bin:$PATH
  5.  # 保存退出并刷新环境变量
  6.  source /etc/profile.d/ldb.sh
  7.  # 测试
  8.  gcc --version
  9.  # 显示 gcc-11

7. 其他组件问题

如有以下组件的错误提示，则统一以该方案解决：

  • bison 相关：安装 bison-3.0.4 时报 fseterr.c 错误

  • flex 相关：flex 命令未找到

  • cmake 相关

    • cmake 命令未找到

    • cmake 找不到依赖库

    • cmake 找不到 CMAKE_ROOT

    • cmake 环境变量 CXX 中找不到编译器集

  • boost 相关：Boost.Build 构建引擎失败

  • mysql 相关：找不到 mysql 的客户端依赖 a 文件

  • gcc 相关：GCC 版本需要 11+

问题原因：都是未使用正确的 ldb-toolchain 进行编译。

解决方案如下：

  • 检查 ldb-toolchain 环境变量是否配置

  • 查看 gcc 版本是否与使用 LDB-Toolchain 编译文档中推荐一致

  • 删除 ldb_toolchain_gen.aarch64.sh 脚本执行后的 ldb 目录，重新执行并配置环境变量，验证 gcc 版本