9.5 使用pybind11构建C++和Python项目

NOTE:此示例代码可以在 https://github.com/dev-cafe/cmake-cookbook/tree/v1.0/chapter-9/recipe-05 中找到,其中有一个C++示例。该示例在CMake 3.11版(或更高版本)中是有效的,并且已经在GNU/Linux、macOS和Windows上进行过测试。

前面的示例中,我们使用Boost.Python与C(C++)接口。本示例中,我们将尝试使用pybind11将Python与C++接口。其实现利用了C++11的特性,因此需要支持C++11的编译器。我们将演示在配置时如何获取pybind11依赖和构建我们的项目,包括一个使用FetchContent方法的Python接口,我们在第4章第3节和第8章第4节中有过讨论。在第11章第2节时,会通过PyPI发布一个用CMake/pybind11构建的C++/Python项目。届时将重新讨论这个例子,并展示如何打包它,使它可以用pip安装。

准备工作

我们将保持account.cpp不变,只修改account.cpp:

  1. #pragma once
  2. #include <pybind11/pybind11.h>
  3. class Account
  4. {
  5. public:
  6. Account();
  7. ~Account();
  8. void deposit(const double amount);
  9. void withdraw(const double amount);
  10. double get_balance() const;
  11. private:
  12. double balance;
  13. };
  14. namespace py = pybind11;
  15. PYBIND11_MODULE(account, m)
  16. {
  17. py::class_<Account>(m, "Account")
  18. .def(py::init())
  19. .def("deposit", &Account::deposit)
  20. .def("withdraw", &Account::withdraw)
  21. .def("get_balance", &Account::get_balance);
  22. }

按照pybind11文档的方式,通过CMake构建(https://pybind11.readthedocs.io/en/stable/compile )。并使用add_subdirectory将pybind11导入项目。但是,不会将pybind11源代码显式地放到项目目录中,而是演示如何在配置时使用FetchContent (https://cmake.org/cmake/help/v3.11/module/FetchContent.html )。

为了在下一个示例中更好地重用代码,我们还将把所有源代码放到子目录中,并使用下面的项目布局:

  1. .
  2. ├── account
  3. ├── account.cpp
  4. ├── account.hpp
  5. ├── CMakeLists.txt
  6. └── test.py
  7. └── CMakeLists.txt

具体实施

让我们详细分析一下这个项目中,各个CMakeLists.txt文件的内容:

  1. CMakeLists.txt文件:

    1. # define minimum cmake version
    2. cmake_minimum_required(VERSION 3.11 FATAL_ERROR)
    3. # project name and supported language
    4. project(recipe-05 LANGUAGES CXX)
    5. # require C++11
    6. set(CMAKE_CXX_STANDARD 11)
    7. set(CMAKE_CXX_EXTENSIONS OFF)
    8. set(CMAKE_CXX_STANDARD_REQUIRED ON)
  2. 这个文件中,查询了用于测试的Python解释器:

    1. find_package(PythonInterp REQUIRED)
  3. 然后,包含account子目录:

    1. add_subdirectory(account)
  4. 定义单元测试:

    1. # turn on testing
    2. enable_testing()
    3. # define test
    4. add_test(
    5. NAME
    6. python_test
    7. COMMAND
    8. ${CMAKE_COMMAND} -E env ACCOUNT_MODULE_PATH=$<TARGET_FILE_DIR:account>
    9. ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/account/test.py
    10. )
  5. account/CMakeLists.txt中,在配置时获取pybind11的源码:

    1. include(FetchContent)
    2. FetchContent_Declare(
    3. pybind11_sources
    4. GIT_REPOSITORY https://github.com/pybind/pybind11.git
    5. GIT_TAG v2.2
    6. )
    7. FetchContent_GetProperties(pybind11_sources)
    8. if(NOT pybind11_sources_POPULATED)
    9. FetchContent_Populate(pybind11_sources)
    10. add_subdirectory(
    11. ${pybind11_sources_SOURCE_DIR}
    12. ${pybind11_sources_BINARY_DIR}
    13. )
    14. endif()
  6. 最后,定义Python模块。再次使用模块选项add_library。并将库目标的前缀和后缀属性设置为PYTHON_MODULE_PREFIXPYTHON_MODULE_EXTENSION,这两个值由pybind11适当地推断出来:

    1. add_library(account
    2. MODULE
    3. account.cpp
    4. )
    5. target_link_libraries(account
    6. PUBLIC
    7. pybind11::module
    8. )
    9. set_target_properties(account
    10. PROPERTIES
    11. PREFIX "${PYTHON_MODULE_PREFIX}"
    12. SUFFIX "${PYTHON_MODULE_EXTENSION}"
    13. )
  7. 进行测试:

    1. $ mkdir -p build
    2. $ cd build
    3. $ cmake ..
    4. $ cmake --build .
    5. $ ctest
    6. Start 1: python_test
    7. 1/1 Test #1: python_test ...................... Passed 0.04 sec
    8. 100% tests passed, 0 tests failed out of 1
    9. Total Test time (real) = 0.04 sec

工作原理

pybind11的功能和使用与Boost.Python非常类似。pybind11是一个更轻量级的依赖——不过需要编译器支持C++11。account.hpp中的接口定义与之前的示例非常类似:

  1. #include <pybind11/pybind11.h>
  2. // ...
  3. namespace py = pybind11;
  4. PYBIND11_MODULE(account, m)
  5. {
  6. py::class_<Account>(m, "Account")
  7. .def(py::init())
  8. .def("deposit", &Account::deposit)
  9. .def("withdraw", &Account::withdraw)
  10. .def("get_balance", &Account::get_balance);
  11. }

同样,我们可以了解到Python方法是如何映射到C++函数的。解释PYBIND11_MODULE库是在导入的目标pybind11::module中定义,使用以下代码包括了这个模块:

  1. add_subdirectory(
  2. ${pybind11_sources_SOURCE_DIR}
  3. ${pybind11_sources_BINARY_DIR}
  4. )

与之前的示例有两个不同之处:

  • 不需要在系统上安装pybind11
  • ${pybind11_sources_SOURCE_DIR}子目录,包含pybind11的CMakelist.txt中,在我们开始构建项目时,这个目录并不存在

这个挑战的解决方案是用FetchContent,在配置时获取pybind11源代码和CMake模块,以便可以使用add_subdirectory引用。使用FetchContent模式,可以假设pybind11在构建树中可用,并允许构建和链接Python模块:

  1. add_library(account
  2. MODULE
  3. account.cpp
  4. )
  5. target_link_libraries(account
  6. PUBLIC
  7. pybind11::module
  8. )

使用下面的命令,确保Python模块库得到一个定义良好的前缀和后缀,并与Python环境兼容:

  1. set_target_properties(account
  2. PROPERTIES
  3. PREFIX ${PYTHON_MODULE_PREFIX}
  4. SUFFIX ${PYTHON_MODULE_EXTENSION}
  5. )

CMakeLists.txt文件的其余部分,都在执行测试(与前一个示例使用相同的test.py)。

更多信息

我们可以将pybind11源代码包含在项目源代码存储库中,这将简化CMake结构,并消除在编译时对pybind11源代码进行网络访问的要求。或者,我们可以将pybind11源路径定义为一个Git子模块(https://git-scm.com/book/en/v2/Git-Tools-Submodules ),以应对pybind11源依赖项的更新。

在示例中,我们使用FetchContent解决了这个问题,它提供了一种非常紧凑的方法来引用CMake子项目,而不是显式地跟踪它的源代码。同样,我们也可以使用超级构建的方法来解决这个问题(参见第8章)。

要查看如何简单函数、定义文档注释、映射内存缓冲区等进阶阅读,请参考pybind11文档:https://pybind11.readthedocs.io