安装与编译 Linux 预测库
直接下载安装
版本说明 | 预测库(1.8.4版本) | 预测库(develop版本) |
---|---|---|
ubuntu14.04_cpu_avx_mkl | fluid_inference.tgz | fluid_inference.tgz |
ubuntu14.04_cpu_avx_openblas | fluid_inference.tgz | fluid_inference.tgz |
ubuntu14.04_cpu_noavx_openblas | fluid_inference.tgz | fluid_inference.tgz |
ubuntu14.04_cuda9.0_cudnn7_avx_mkl | fluid_inference.tgz | fluid_inference.tgz |
ubuntu14.04_cuda10.0_cudnn7_avx_mkl | fluid_inference.tgz | fluid_inference.tgz |
ubuntu14.04_cuda10.1_cudnn7.6_avx_mkl_trt6 | fluid_inference.tgz | |
nv-jetson-cuda10-cudnn7.5-trt5 | fluid_inference.tar.gz |
从源码编译
用户也可以从 PaddlePaddle 核心代码编译C++预测库,只需在编译时配制下面这些编译选项:
选项 | 值 | 说明 |
---|---|---|
CMAKE_BUILD_TYPE | Release | 编译方式,仅使用预测库设为Release即可 |
FLUID_INFERENCE_INSTALL_DIR | 安装路径 | 预测库安装路径 |
WITH_PYTHON | OFF(推荐) | 编译python预测库与whl包 |
ON_INFER | ON(推荐) | 预测时使用,必须设为ON |
WITH_GPU | ON/OFF | 编译支持GPU的预测库 |
WITH_MKL | ON/OFF | 编译支持MKL的预测库 |
WITH_MKLDNN | ON/OFF | 编译支持MKLDNN的预测库 |
WITH_XBYAK | ON | 使用XBYAK编译,在jetson硬件上编译需要设置为OFF |
WITH_NV_JETSON | OFF | 在NV Jetson硬件上编译时需要设为ON |
建议按照推荐值设置,以避免链接不必要的库。其它可选编译选项按需进行设定。
首先从github拉取最新代码并安装nccl
git clone https://github.com/paddlepaddle/paddle
# 建议使用git checkout切换到Paddle稳定的版本,如:
git checkout v1.8.4
git clone https://github.com/NVIDIA/nccl.git
make -j4
make install
note: 单卡机器上不会用到nccl但仍存在依赖, 后续会考虑将此依赖去除。
Server端预测库源码编译
下面的代码片段配制编译选项并进行编译(需要将PADDLE_ROOT替换为PaddlePaddle预测库的安装路径):
PADDLE_ROOT=/path/of/paddle
cd Paddle
mkdir build
cd build
cmake -DFLUID_INFERENCE_INSTALL_DIR=$PADDLE_ROOT \
-DCMAKE_BUILD_TYPE=Release \
-DWITH_PYTHON=OFF \
-DWITH_MKL=OFF \
-DWITH_GPU=OFF \
-DON_INFER=ON \
..
make
make inference_lib_dist
NVIDIA Jetson嵌入式硬件预测库源码编译
NVIDIA Jetson是NVIDIA推出的嵌入式AI平台,Paddle Inference支持在 NVIDIA Jetson平台上编译预测库。具体步骤如下:
- 准备环境
开启硬件性能模式
sudo nvpmodel -m 0 && sudo jetson_clocks
如果硬件为Nano,增加swap空间
#增加DDR可用空间,Xavier默认内存为16G,所以内存足够,如想在Nano上尝试,请执行如下操作。
sudo fallocate -l 5G /var/swapfile
sudo chmod 600 /var/swapfile
sudo mkswap /var/swapfile
sudo swapon /var/swapfile
sudo bash -c 'echo "/var/swapfile swap swap defaults 0 0" >> /etc/fstab'
- 编译Paddle Inference预测库
cd Paddle
mkdir build
cd build
cmake .. \
-DWITH_CONTRIB=OFF \
-DWITH_MKL=OFF \
-DWITH_MKLDNN=OFF \
-DWITH_TESTING=OFF \
-DCMAKE_BUILD_TYPE=Release \
-DON_INFER=ON \
-DWITH_PYTHON=OFF \
-DWITH_XBYAK=OFF \
-DWITH_NV_JETSON=ON
make -j4
# 生成预测lib
make inference_lib_dist -j4
- 样例测试
FAQ
- 报错:
ERROR: ../aarch64-linux-gpn/crtn.o: Too many open files.
则增加系统同一时间最多可开启的文件数至2048
ulimit -n 2048
- 编译卡住
可能是下载第三方库较慢的原因,耐心等待或kill掉编译进程重新编译
- 使用TensorRT报错IPluginFactory或IGpuAllocator缺少虚析构函数
下载安装TensorRT后,在NvInfer.h文件中为class IPluginFactory和class IGpuAllocator分别添加虚析构函数:
virtual ~IPluginFactory() {};
virtual ~IGpuAllocator() {};
成功编译后,使用C++预测库所需的依赖(包括:(1)编译出的PaddlePaddle预测库和头文件;(2)第三方链接库和头文件;(3)版本信息与编译选项信息) 均会存放于PADDLE_ROOT目录中。目录结构如下:
PaddleRoot/
├── CMakeCache.txt
├── paddle
│ ├── include
│ │ ├── paddle_anakin_config.h
│ │ ├── paddle_analysis_config.h
│ │ ├── paddle_api.h
│ │ ├── paddle_inference_api.h
│ │ ├── paddle_mkldnn_quantizer_config.h
│ │ └── paddle_pass_builder.h
│ └── lib
│ ├── libpaddle_fluid.a
│ └── libpaddle_fluid.so
├── third_party
│ ├── boost
│ │ └── boost
│ ├── eigen3
│ │ ├── Eigen
│ │ └── unsupported
│ └── install
│ ├── gflags
│ ├── glog
│ ├── mkldnn
│ ├── mklml
│ ├── protobuf
│ ├── xxhash
│ └── zlib
└── version.txt
version.txt 中记录了该预测库的版本信息,包括Git Commit ID、使用OpenBlas或MKL数学库、CUDA/CUDNN版本号,如:
GIT COMMIT ID: cc9028b90ef50a825a722c55e5fda4b7cd26b0d6
WITH_MKL: ON
WITH_MKLDNN: ON
WITH_GPU: ON
CUDA version: 8.0
CUDNN version: v7