PaddleLite使用X86预测部署

Paddle-Lite 支持在Docker或Linux环境编译x86预测库。环境搭建参考环境准备

(注意:非docker Linux环境需要是Ubuntu16.04)

编译

1、 下载代码

  1. git clone https://github.com/PaddlePaddle/Paddle-Lite.git
  2. # 切换到release分支
  3. git checkout release/v2.3

2、 源码编译

  1. cd Paddle-Lite
  2. ./lite/tools/build.sh x86

编译结果说明

x86编译结果位于 build.lite.x86/inference_lite_lib 具体内容说明:

1、 bin文件夹:可执行工具文件 test_model_bin

2、 cxx文件夹:包含c++的库文件与相应的头文件

  • include : 头文件
  • lib : 库文件
    • 打包的静态库文件:
      • libpaddle_api_full_bundled.a :包含 full_api 和 light_api 功能的静态库
      • libpaddle_api_light_bundled.a :只包含 light_api 功能的静态库
    • 打包的动态态库文件:
      • libpaddle_full_api_shared.so :包含 full_api 和 light_api 功能的动态库
      • libpaddle_light_api_shared.so:只包含 light_api 功能的动态库

3、 third_party 文件夹:第三方库文件

x86预测API使用示例

1、我们提供Linux环境下x86 API运行mobilenet_v1的示例:mobilenet_full_x86demo。下载解压后内容如下:

https://paddlelite-data.bj.bcebos.com/x86/x86-doc/demo.png

mobilenet_v1为模型文件、libinclude分别是Paddle-Lite的预测库和头文件、third_party下是编译时依赖的第三方库mklmlmobilenet_full_api.cc是x86示例的源代码、build.sh为编译的脚本。

2、demo内容与使用方法

  1. # 1、编译
  2. sh build.sh

编译结果为当前目录下的 mobilenet_full_api

  1. # 2、执行预测
  2. mobilenet_full_api mobilenet_v1

mobilenet_v1为当前目录下的模型路径,mobilenet_full_api为第一步编译出的可执行文件。

3、示例源码mobilenet_full_api.cc

  1. #include <iostream>
  2. #include <vector>
  3. #include "paddle_api.h"
  4. using namespace paddle::lite_api; // NOLINT
  5. int64_t ShapeProduction(const shape_t& shape) {
  6. int64_t res = 1;
  7. for (auto i : shape) res *= i;
  8. return res;
  9. }
  10. void RunModel(std::string model_dir) {
  11. // 1. Create CxxConfig
  12. CxxConfig config;
  13. config.set_model_dir(model_dir);
  14. config.set_valid_places({
  15. Place{TARGET(kX86), PRECISION(kFloat)},
  16. Place{TARGET(kHost), PRECISION(kFloat)}
  17. });
  18. // 2. Create PaddlePredictor by CxxConfig
  19. std::shared_ptr<PaddlePredictor> predictor =
  20. CreatePaddlePredictor<CxxConfig>(config);
  21. // 3. Prepare input data
  22. std::unique_ptr<Tensor> input_tensor(std::move(predictor->GetInput(0)));
  23. input_tensor->Resize({1, 3, 224, 224});
  24. auto* data = input_tensor->mutable_data<float>();
  25. for (int i = 0; i < ShapeProduction(input_tensor->shape()); ++i) {
  26. data[i] = 1;
  27. }
  28. // 4. Run predictor
  29. predictor->Run();
  30. // 5. Get output
  31. std::unique_ptr<const Tensor> output_tensor(
  32. std::move(predictor->GetOutput(0)));
  33. std::cout << "Output shape " << output_tensor->shape()[1] << std::endl;
  34. for (int i = 0; i < ShapeProduction(output_tensor->shape()); i += 100) {
  35. std::cout << "Output[" << i << "]: " << output_tensor->data<float>()[i]
  36. << std::endl;
  37. }
  38. }
  39. int main(int argc, char** argv) {
  40. if (argc < 2) {
  41. std::cerr << "[ERROR] usage: ./" << argv[0] << " naive_buffer_model_dir\n";
  42. exit(1);
  43. }
  44. std::string model_dir = argv[1];
  45. RunModel(model_dir);
  46. return 0;
  47. }