9.4 使用Boost.Python构建C++和Python项目

NOTE:此示例代码可以在 https://github.com/dev-cafe/cmake-cookbook/tree/v1.0/chapter-9/recipe-04 中找到,其中有一个C++示例。该示例在CMake 3.5版(或更高版本)中是有效的,并且已经在GNU/Linux、macOS和Windows上进行过测试。

Boost库为C++代码提供了Python接口。本示例将展示如何在依赖于Boost的C++项目中使用CMake,之后将其作为Python模块发布。我们将重用前面的示例,并尝试用Cython示例中的C++实现(account.cpp)进行交互。

准备工作

保持account.cpp不变的同时,修改前一个示例中的接口文件(account.hpp):

  1. #pragma once
  2. #define BOOST_PYTHON_STATIC_LIB
  3. #include <boost/python.hpp>
  4. class Account
  5. {
  6. public:
  7. Account();
  8. ~Account();
  9. void deposit(const double amount);
  10. void withdraw(const double amount);
  11. double get_balance() const;
  12. private:
  13. double balance;
  14. };
  15. namespace py = boost::python;
  16. BOOST_PYTHON_MODULE(account)
  17. {
  18. py::class_<Account>("Account")
  19. .def("deposit", &Account::deposit)
  20. .def("withdraw", &Account::withdraw)
  21. .def("get_balance", &Account::get_balance);
  22. }

具体实施

如何在C++项目中使用Boost.Python的步骤:

  1. 和之前一样,首先定义最低版本、项目名称、支持语言和默认构建类型:

    1. # define minimum cmake version
    2. cmake_minimum_required(VERSION 3.5 FATAL_ERROR)
    3. # project name and supported language
    4. project(recipe-04 LANGUAGES CXX)
    5. # require C++11
    6. set(CMAKE_CXX_STANDARD 11)
    7. set(CMAKE_CXX_EXTENSIONS OFF)
    8. set(CMAKE_CXX_STANDARD_REQUIRED ON)
    9. # we default to Release build type
    10. if(NOT CMAKE_BUILD_TYPE)
    11. set(CMAKE_BUILD_TYPE Release CACHE STRING "Build type" FORCE)
    12. endif()
  2. 本示例中,依赖Python和Boost库,以及使用Python进行测试。Boost.Python组件依赖于Boost版本和Python版本,因此需要对这两个组件的名称进行检测:

    1. # for testing we will need the python interpreter
    2. find_package(PythonInterp REQUIRED)
    3. # we require python development headers
    4. find_package(PythonLibs ${PYTHON_VERSION_MAJOR}.${PYTHON_VERSION_MINOR} EXACT REQUIRED)
    5. # now search for the boost component
    6. # depending on the boost version it is called either python,
    7. # python2, python27, python3, python36, python37, ...
    8. list(
    9. APPEND _components
    10. python${PYTHON_VERSION_MAJOR}${PYTHON_VERSION_MINOR}
    11. python${PYTHON_VERSION_MAJOR}
    12. python
    13. )
    14. set(_boost_component_found "")
    15. foreach(_component IN ITEMS ${_components})
    16. find_package(Boost COMPONENTS ${_component})
    17. if(Boost_FOUND)
    18. set(_boost_component_found ${_component})
    19. break()
    20. endif()
    21. endforeach()
    22. if(_boost_component_found STREQUAL "")
    23. message(FATAL_ERROR "No matching Boost.Python component found")
    24. endif()
  3. 使用以下命令,定义Python模块及其依赖项:

    1. # create python module
    2. add_library(account
    3. MODULE
    4. account.cpp
    5. )
    6. target_link_libraries(account
    7. PUBLIC
    8. Boost::${_boost_component_found}
    9. ${PYTHON_LIBRARIES}
    10. )
    11. target_include_directories(account
    12. PRIVATE
    13. ${PYTHON_INCLUDE_DIRS}
    14. )
    15. # prevent cmake from creating a "lib" prefix
    16. set_target_properties(account
    17. PROPERTIES
    18. PREFIX ""
    19. )
    20. if(WIN32)
    21. # python will not import dll but expects pyd
    22. set_target_properties(account
    23. PROPERTIES
    24. SUFFIX ".pyd"
    25. )
    26. endif()
  4. 最后,定义了一个测试:

    1. # turn on testing
    2. enable_testing()
    3. # define test
    4. add_test(
    5. NAME
    6. python_test
    7. COMMAND
    8. ${CMAKE_COMMAND} -E env ACCOUNT_MODULE_PATH=$<TARGET_FILE_DIR:account>
    9. ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test.py
    10. )
  5. 配置、编译和测试:

    1. $ mkdir -p build
    2. $ cd build
    3. $ cmake ..
    4. $ cmake --build .
    5. $ ctest
    6. Start 1: python_test
    7. 1/1 Test #1: python_test ...................... Passed 0.10 sec
    8. 100% tests passed, 0 tests failed out of 1
    9. Total Test time (real) = 0.11 sec

工作原理

现在,不依赖于Cython模块,而是依赖于在系统上的Boost库,以及Python的开发头文件和库。

Python的开发头文件和库的搜索方法如下:

  1. find_package(PythonInterp REQUIRED)
  2. find_package(PythonLibs ${PYTHON_VERSION_MAJOR}.${PYTHON_VERSION_MINOR} EXACT REQUIRED)

首先搜索解释器,然后搜索开发头和库。此外,对PythonLibs的搜索要求开发头文件和库的主版本和次版本,与解释器的完全相同。但是,命令组合不能保证找到完全匹配的版本。

定位Boost.Python时,我们试图定位的组件的名称既依赖于Boost版本,也依赖于我们的Python环境。根据Boost版本的不同,可以调用python、python2、python3、python27、python36、python37等等。我们从特定的名称搜索到更通用的名称,已经解决了这个问题,只有在没有找到匹配的名称时才会失败:

  1. list(
  2. APPEND _components
  3. python${PYTHON_VERSION_MAJOR}${PYTHON_VERSION_MINOR}
  4. python${PYTHON_VERSION_MAJOR}
  5. python
  6. )
  7. set(_boost_component_found "")
  8. foreach(_component IN ITEMS ${_components})
  9. find_package(Boost COMPONENTS ${_component})
  10. if(Boost_FOUND)
  11. set(_boost_component_found ${_component})
  12. break()
  13. endif()
  14. endforeach()
  15. if(_boost_component_found STREQUAL "")
  16. message(FATAL_ERROR "No matching Boost.Python component found")
  17. endif()

可以通过设置额外的CMake变量,来调整Boost库的使用方式。例如,CMake提供了以下选项:

  • Boost_USE_STATIC_LIBS:设置为ON之后,可以使用静态版本的Boost库。
  • Boost_USE_MULTITHREADED:设置为ON之后,可以切换成多线程版本。
  • Boost_USE_STATIC_RUNTIME:设置为ON之后,可以在C++运行时静态的连接不同版本的Boost库。

此示例的另一个特点是使用add_library的模块选项。我们已经从第1章第3节了解到,CMake接受以下选项作为add_library的第二个有效参数:

  • STATIC:创建静态库,也就是对象文件的存档,用于链接其他目标时使用,例如:可执行文件
  • SHARED:创建共享库,也就是可以动态链接并在运行时加载的库
  • OBJECT:创建对象库,也就是对象文件不需要将它们归档到静态库中,也不需要将它们链接到共享对象中

MODULE选项将生成一个插件库,也就是动态共享对象(DSO),没有动态链接到任何可执行文件,但是仍然可以在运行时加载。由于我们使用C++来扩展Python,所以Python解释器需要能够在运行时加载我们的库。使用MODULE选项进行add_library,可以避免系统在库名前添加前缀(例如:Unix系统上的lib)。后一项操作是通过设置适当的目标属性来执行的,如下所示:

  1. set_target_properties(account
  2. PROPERTIES
  3. PREFIX ""
  4. )

完成Python和C++接口的示例,需要向Python代码描述如何连接到C++层,并列出对Python可见的符号,我们也有可能重新命名这些符号。在上一个示例中,我们在另一个单独的account.pyx文件这样用过。当使用Boost.Python时,我们直接用C++代码描述接口,理想情况下接近期望的接口类或函数定义:

  1. BOOST_PYTHON_MODULE(account) {
  2. py::class_<Account>("Account")
  3. .def("deposit", &Account::deposit)
  4. .def("withdraw", &Account::withdraw)
  5. .def("get_balance", &Account::get_balance);
  6. }

BOOST_PYTHON_MODULE模板包含在<boost/python>中,负责创建Python接口。该模块将公开一个Account Python类,该类映射到C++类。这种情况下,我们不需要显式地声明构造函数和析构函数——编译器会有默认实现,并在创建Python对象时自动调用:

  1. myaccount = Account()

当对象超出范围并被回收时,将调用析构函数。另外,观察BOOST_PYTHON_MODULE如何声明depositwithdrawget_balance函数,并将它们映射为相应的C++类方法。

这样,Python可以在PYTHONPATH中找到编译后的模块。这个示例中,我们实现了Python和C++层之间相对干净的分离。Python代码的功能不受限制,不需要类型注释或重写名称,并保持Python风格:

  1. from account import Account
  2. account1 = Account()
  3. account1.deposit(100.0)
  4. account1.deposit(100.0)
  5. account2 = Account()
  6. account2.deposit(200.0)
  7. account2.deposit(200.0)
  8. account1.withdraw(50.0)
  9. assert account1.get_balance() == 150.0
  10. assert account2.get_balance() == 400.0

更多信息

这个示例中,我们依赖于系统上安装的Boost,因此CMake代码会尝试检测相应的库。或者,可以将Boost源与项目一起提供,并将此依赖项,作为项目的一部分构建。Boost使用的是一种可移植的方式将Python与C(++)进行连接。然而,与编译器支持和C++标准相关的可移植性是有代价的,因为Boost.Python不是轻量级依赖项。在接下来的示例中,我们将讨论Boost.Python的轻量级替代方案。