11.5 将Conda包作为依赖项发布给项目

NOTE:此示例代码可以在 https://github.com/dev-cafe/cmake-cookbook/tree/v1.0/chapter-11/recipe-05 中找到。该示例在CMake 3.5版(或更高版本)中是有效的,并且已经在GNU/Linux、macOS和Windows上进行过测试。

这个示例中,我们将基于之前示例的结果,并且为CMake项目准备一个更真实和复杂的Conda包,这将取决于DGEMM的函数实现,对于矩阵与矩阵的乘法,可以使用Intel的MKL库进行。Intel的MKL库可以以Conda包的形式提供。此示例将为我们提供一个工具集,用于准备和共享具有依赖关系的Conda包。

准备工作

对于这个示例,我们将使用与前一个示例中的Conda配置,和相同的文件命名和目录结构:

  1. .
  2. ├── CMakeLists.txt
  3. ├── conda-recipe
  4. └── meta.yaml
  5. └── example.cpp

示例文件(example.cpp)将执行矩阵-矩阵乘法,并将MKL库返回的结果与“noddy”实现进行比较:

  1. #include "mkl.h"
  2. #include <cassert>
  3. #include <cmath>
  4. #include <iostream>
  5. #include <random>
  6. int main() {
  7. // generate a uniform distribution of real number between -1.0 and 1.0
  8. std::random_device rd;
  9. std::mt19937 mt(rd());
  10. std:: uniform_real_distribution < double > dist(-1.0, 1.0);
  11. int m = 500;
  12. int k = 1000;
  13. int n = 2000;
  14. double *A = (double *)mkl_malloc(m * k * sizeof(double), 64);
  15. double *B = (double *)mkl_malloc(k * n * sizeof(double), 64);
  16. double *C = (double *)mkl_malloc(m * n * sizeof(double), 64);
  17. double * D = new double[m * n];
  18. for (int i = 0; i < (m * k); i++) {
  19. A[i] = dist(mt);
  20. }
  21. for (int i = 0; i < (k * n); i++) {
  22. B[i] = dist(mt);
  23. }
  24. for (int i = 0; i < (m * n); i++) {
  25. C[i] = 0.0;
  26. }
  27. double alpha = 1.0;
  28. double beta = 0.0;
  29. cblas_dgemm(CblasRowMajor,
  30. CblasNoTrans,
  31. CblasNoTrans,
  32. m,
  33. n,
  34. k,
  35. alpha,
  36. A,
  37. k,
  38. B,
  39. n,
  40. beta,
  41. C,
  42. n);
  43. // D_mn = A_mk B_kn
  44. for (int r = 0; r < m; r++) {
  45. for (int c = 0; c < n; c++) {
  46. D[r * n + c] = 0.0;
  47. for (int i = 0; i < k; i++) {
  48. D[r * n + c] += A[r * k + i] * B[i * n + c];
  49. }
  50. }
  51. }
  52. // compare the two matrices
  53. double r = 0.0;
  54. for (int i = 0; i < (m * n); i++) {
  55. r += std::pow(C[i] - D[i], 2.0);
  56. }
  57. assert (r < 1.0e-12 & & "ERROR: matrices C and D do not match");
  58. mkl_free(A);
  59. mkl_free(B);
  60. mkl_free(C);
  61. delete[] D;
  62. std:: cout << "MKL DGEMM example worked!" << std:: endl;
  63. return 0;`
  64. }

我们还需要修改meta.yaml。然而,与上一个示例相比,唯一的变化是在依赖项中加入了mkl-devel

  1. package:
  2. name: conda-example-dgemm
  3. version: "0.0.0"
  4. source:
  5. path: ../ # this can be changed to git-url
  6. build:
  7. number: 0
  8. script:
  9. - cmake -H. -Bbuild_conda -G "${CMAKE_GENERATOR}"
  10. -DCMAKE_INSTALL_PREFIX=${PREFIX} # [not win]
  11. - cmake -H. -Bbuild_conda -G "%CMAKE_GENERATOR%"
  12. -DCMAKE_INSTALL_PREFIX="%LIBRARY_PREFIX%" # [win]
  13. - cmake - -build build_conda - -target install
  14. requirements:
  15. build:
  16. - cmake >=3.5
  17. - {{ compiler('cxx') }}
  18. host:
  19. - mkl - devel 2018
  20. about:
  21. home: http://www.example.com
  22. license: MIT
  23. summary: "Summary in here ..."

具体实施

  1. CMakeLists.txt文件声明了最低版本、项目名称和支持的语言:

    1. cmake_minimum_required(VERSION 3.5 FATAL_ERROR)
    2. project(recipe-05 LANGUAGES CXX)
    3. set(CMAKE_CXX_STANDARD 11)
    4. set(CMAKE_CXX_EXTENSIONS OFF)
    5. set(CMAKE_CXX_STANDARD_REQUIRED ON)
  2. 使用example.cpp构建dgem-example可执行目标:

    1. add_executable(dgemm-example "")
    2. target_sources(dgemm-example
    3. PRIVATE
    4. example.cpp
    5. )
  3. 然后,需要找到通过MKL-devel安装的MKL库。我们准备了一个名为IntelMKLINTERFACE库,该库可以用于其他目标,并将为依赖的目标设置包括目录、编译器选项和链接库。根据Intel的建议(https://software.intel.com/en-us/articles/intel-mml-link-line-advisor/ )进行设置。首先,设置编译器选项:

    1. add_library(IntelMKL INTERFACE)
    2. target_compile_options(IntelMKL
    3. INTERFACE
    4. $<$<OR:$<CXX_COMPILER_ID:GNU>,$<CXX_COMPILER_ID:AppleClang>>:-m64>
    5. )
  4. 接下来,查找mkl.h头文件,并为IntelMKL目标设置include目录:

    1. find_path(_mkl_h
    2. NAMES
    3. mkl.h
    4. HINTS
    5. ${CMAKE_INSTALL_PREFIX}/include
    6. )
    7. target_include_directories(IntelMKL
    8. INTERFACE
    9. ${_mkl_h}
    10. )
    11. message(STATUS "MKL header file FOUND: ${_mkl_h}")
  5. 最后,为IntelMKL目标设置链接库:

    1. find_library(_mkl_libs
    2. NAMES
    3. mkl_rt
    4. HINTS
    5. ${CMAKE_INSTALL_PREFIX}/lib
    6. )
    7. message(STATUS "MKL single dynamic library FOUND: ${_mkl_libs}")
    8. find_package(Threads QUIET)
    9. target_link_libraries(IntelMKL
    10. INTERFACE
    11. ${_mkl_libs}
    12. $<$<OR:$<CXX_COMPILER_ID:GNU>,$<CXX_COMPILER_ID:AppleClang>>:Threads::Threads>
    13. $<$<OR:$<CXX_COMPILER_ID:GNU>,$<CXX_COMPILER_ID:AppleClang>>:m>
    14. )
  6. 使用cmake_print_properties函数,打印IntelMKL目标的信息:

    1. include(CMakePrintHelpers)
    2. cmake_print_properties(
    3. TARGETS
    4. IntelMKL
    5. PROPERTIES
    6. INTERFACE_COMPILE_OPTIONS
    7. INTERFACE_INCLUDE_DIRECTORIES
    8. INTERFACE_LINK_LIBRARIES
    9. )
  7. 将这些库连接到dgem-example:

    1. target_link_libraries(dgemm-example
    2. PRIVATE
    3. IntelMKL
    4. )
  8. CMakeLists.txt中定义了安装目标:

    1. install(
    2. TARGETS
    3. dgemm-example
    4. DESTINATION
    5. bin
    6. )
  9. 尝试构建包:

    1. $ conda build conda-recipe
  10. 过程中屏幕上将看到大量输出,但是一旦构建完成,就可以对包进行安装包。首先,在本地进行安装测试:

    1. $ conda install --use-local conda-example-dgemm
  11. 现在测试安装,打开一个新的终端(假设Anaconda处于激活状态),并输入:

    1. $ dgemm-example
    2. MKL DGEMM example worked!
  12. 安装成功之后,再进行卸载:

    1. $ conda remove conda-example-dgemm

工作原理

meta.yaml中的变化就是mml-devel依赖项。从CMake的角度来看,这里的挑战是定位Anaconda安装的MKL库。幸运的是,我们知道它位于${CMAKE_INSTALL_PREFIX}中。可以使用在线的Intel MKL link line advisor(https://software.intel.com/en-us/articles/intel-mml-link-line-advisor/) 查看如何根据选择的平台和编译器,将MKL链接到我们的项目中,我们会将此信息封装到INTERFACE库中。这个解决方案非常适合类MKL的情况:库不是由我们的项目或任何子项目创建的目标,但是它仍然需要以一种方式进行处理;也就是:设置编译器标志,包括目录和链接库。INTERFACE库是构建系统中的目标,但不创建任何构建输出(至少不会直接创建)。但由于它们是目标,我们可对它们的属性进行设置。这样与“实际”目标一样,可以安装、导出和导入。

首先,我们用INTERFACE属性声明一个名为IntelMKL的新库。然后,根据需要设置属性,并使用INTERFACE属性在目标上调用适当的CMake命令:

  • target_compile_options:用于设置INTERFACE_COMPILE_OPTIONS。示例中,设置了-m64,不过这个标志只有GNU和AppleClange编译器能够识别。并且,我们使用生成器表达式来实现。
  • target_include_directories:用于设置INTERFACE_INCLUDE_DIRECTORIES。使用find_path,可以在找到系统上的mkl.h头文件后设置这些参数。
  • target_link_libraries:用于设置INTERFACE_LINK_LIBRARIES。我们决定链接动态库libmkl_rt.so,并用find_library搜索它。GNU或AppleClang编译器还需要将可执行文件链接到线程和数学库。同样,这些情况可以使用生成器表达式优雅地进行处理。

IntelMKL目标上设置的属性后,可以通过cmake_print_properties命令将属性进行打印。最后,链接到IntelMKL目标,这将设置编译器标志,包括目录和链接库:

  1. target_link_libraries(dgemm-example
  2. PRIVATE
  3. IntelMKL
  4. )

更多信息

Anaconda云上包含大量包。使用上述方法,可以为CMake项目构建依赖于其他Conda包的Conda包。这样,就可以探索软件功能的各种可能性,并与他人分享您的软件包!