Nebula Algorithm

Nebula Algorithm （简称Algorithm）是一款基于GraphX的Spark应用程序，通过提交Spark任务的形式使用完整的算法工具对Nebula Graph数据库中的数据执行图计算，也可以通过编程形式调用lib库下的算法针对DataFrame执行图计算。

前提条件

在使用 Algorithm 之前，用户需要确认以下信息：

  • Nebula Graph 服务已经部署并启动。详细信息，参考Nebula Graph安装部署。

  • Spark 版本为 2.4.x 。

  • （可选）如果用户需要在Github中克隆最新的Algorithm，并自行编译打包，可以选择安装Maven。

使用限制

点ID的数据必须为整数，即点ID可以是INT类型，或者是String类型但数据本身为整数。

对于非整数的String类型数据，推荐使用调用算法接口的方式，可以使用SparkSQL的dense_rank函数进行编码，将String类型转换为Long类型。

支持算法

Nebula Algorithm支持的图计算算法如下。

算法名说明应用场景
PageRank页面排序网页排序、重点节点挖掘
Louvain社区发现社团挖掘、层次化聚类
KCoreK核社区发现、金融风控
LabelPropagation标签传播资讯传播、广告推荐、社区发现
ConnectedComponent联通分量社区发现、孤岛发现
StronglyConnectedComponent强联通分量社区发现
ShortestPath最短路径路径规划、网络规划
TriangleCount三角形计数网络结构分析
BetweennessCentrality介数中心性关键节点挖掘，节点影响力计算
DegreeStatic度统计图结构分析

实现方法

Nebula Algorithm实现图计算的流程如下：

  1. 利用Nebula Spark Connector从Nebula Graph数据库中读取图数据为DataFrame。

  2. 将DataFrame转换为GraphX的图。

  3. 调用GraphX提供的图算法（例如PageRank）或者自行实现的算法（例如Louvain社区发现）。

详细的实现方法可以参见相关Scala文件。

获取Nebula Algorithm

编译打包

  1. 克隆仓库nebula-spark-utils。

    1. $ git clone -b v2.5 https://github.com/vesoft-inc/nebula-spark-utils.git

  2. 进入目录nebula-algorithm。

    1. $ cd nebula-spark-utils/nebula-algorithm

  3. 编译打包。

    1. $ mvn clean package -Dgpg.skip -Dmaven.javadoc.skip=true -Dmaven.test.skip=true

编译完成后，在目录nebula-algorithm/target下生成类似文件nebula-algorithm-2.5.0.jar。

Maven远程仓库下载

下载地址

使用方法

调用算法接口（推荐）

lib库中提供了10种常用图计算算法，用户可以通过编程调用的形式调用算法。

  1. 在文件pom.xml中添加依赖。

    1. <dependency>
    2. <groupId>com.vesoft</groupId>
    3. <artifactId>nebula-algorithm</artifactId>
    4. <version>2.5.0</version>
    5. </dependency>

  2. 传入参数调用算法（以PageRank为例）。更多算法请参见测试用例。

    1. val prConfig = new PRConfig(5, 1.0)
    2. val louvainResult = PageRankAlgo.apply(spark, data, prConfig, false)

直接提交算法包

  1. 设置配置文件。

    ``` {

    1. # Spark相关配置
    2. spark: {
    3. app: {
    4.     name: LPA
    5.     # Spark分片数量
    6.     partitionNum:100
    7. }
    8. master:local
    9. }
    11. data: {
    12. # 数据源，可选值为nebula、csv、json。
    13. source: nebula
    14. # 数据落库，即图计算的结果写入的目标，可选值为nebula、csv、json。
    15. sink: nebula
    16. # 算法是否需要权重。
    17. hasWeight: false
    18. }
    20. # Nebula Graph相关配置
    21. nebula: {
    22. # 数据源。Nebula Graph作为图计算的数据源时，nebula.read的配置才生效。
    23. read: {
    24.     # 所有Meta服务的IP地址和端口，多个地址用英文逗号（,）分隔。格式: "ip1:port1,ip2:port2"。
    25.     # 使用docker-compose部署，端口需要填写docker-compose映射到外部的端口
    26.     # 可以用`docker-compose ps`查看
    27.     metaAddress: "192.168.*.10:9559"
    28.     # Nebula Graph图空间名称
    29.     space: basketballplayer
    30.     # Nebula Graph Edge type, 多个labels时，多个边的数据将合并。
    31.     labels: ["serve"]
    32.     # Nebula Graph每个Edge type的属性名称，此属性将作为算法的权重列，请确保和Edge type对应。
    33.     weightCols: ["start_year"]
    34. }
    36. # 数据落库。图计算结果落库到Nebula Graph时，nebula.write的配置才生效。
    37. write:{
    38.     # Graph服务的IP地址和端口, 多个地址用英文逗号（,）分隔。格式: "ip1:port1,ip2:port2"。
    39.     # 使用docker-compose部署，端口需要填写docker-compose映射到外部的端口
    40.     # 可以用`docker-compose ps`查看
    41.     graphAddress: "192.168.*.11:9669"
    42.     # 所有Meta服务的IP地址和端口，多个地址用英文逗号（,）分隔。格式: "ip1:port1,ip2:port2"。
    43.     # 使用docker-compose部署，端口需要填写docker-compose映射到外部的端口
    44.     # 可以用`docker-compose ps`查看
    45.     metaAddress: "192.168.*.12:9559"
    46.     user:root
    47.     pswd:nebula
    48.     # 在提交图计算任务之前需要自行创建图空间及Tag
    49.     # Nebula Graph图空间名称
    50.     space:nb
    51.     # Nebula Graph Tag名称，图计算结果会写入该Tag。Tag中的属性名称固定如下：
    52.     # PageRank：pagerank
    53.     # Louvain：louvain
    54.     # ConnectedComponent：cc
    55.     # StronglyConnectedComponent：scc
    56.     # LabelPropagation：lpa
    57.     # ShortestPath：shortestpath
    58.     # DegreeStatic：degree、inDegree、outDegree
    59.     # KCore：kcore
    60.     # TriangleCount：tranglecpunt
    61.     # BetweennessCentrality：betweennedss
    62.     tag:pagerank
    63. }
    64. }  
    66. local: {
    67. # 数据源。图计算的数据源为csv文件或json文件时，local.read的配置才生效。
    68. read:{
    69.     filePath: "hdfs://127.0.0.1:9000/edge/work_for.csv"
    70.     # 如果CSV文件没有表头，使用[_c0, _c1, _c2, ..., _cn]表示其表头，有表头或者是json文件时，直接使用表头名称即可。
    71.     # 起始点ID列的表头。
    72.     srcId:"_c0"
    73.     # 目的点ID列的表头。
    74.     dstId:"_c1"
    75.     # 权重列的表头
    76.     weight: "_c2"
    77.     # csv文件是否有表头
    78.     header: false
    79.     # csv文件的分隔符
    80.     delimiter:","
    81. }
    83. # 数据落库。图计算结果落库到csv文件或text文件时，local.write的配置才生效。
    84. write:{
    85.     resultPath:/tmp/
    86. }
    87. }
  1.     algorithm: {
  2.     # 需要执行的算法，可选值为：pagerank、louvain、connectedcomponent、
  3.     # labelpropagation、shortestpaths、degreestatic、kcore、
  4.     # stronglyconnectedcomponent、trianglecount、betweenness
  5.     executeAlgo: pagerank
  7.     # PageRank参数
  8.     pagerank: {
  9.         maxIter: 10
  10.         resetProb: 0.15  # 默认为0.15
  11.     }
  13.     # Louvain参数
  14.     louvain: {
  15.         maxIter: 20
  16.         internalIter: 10
  17.         tol: 0.5
  18.     }
  20.    # ConnectedComponent/StronglyConnectedComponent参数
  21.    connectedcomponent: {
  22.        maxIter: 20
  23.    }
  25.    # LabelPropagation参数
  26.    labelpropagation: {
  27.        maxIter: 20
  28.    }
  30.     # ShortestPath参数
  31.     shortestpaths: {
  32.         # several vertices to compute the shortest path to all vertices.
  33.         landmarks: "1"
  34.     }
  36.     # DegreeStatic参数
  37.     degreestatic: {}
  39.     # KCore参数
  40.     kcore:{
  41.         maxIter:10
  42.         degree:1
  43.     }
  45.     # TriangleCount参数
  46.     trianglecount:{}
  48.     # BetweennessCentrality参数
  49.     betweenness:{
  50.         maxIter:5
  51.     }
  52. }
  53. }
  54. ```

  1. 提交图计算任务。

    1. ${SPARK_HOME}/bin/spark-submit --master <mode> --class com.vesoft.nebula.algorithm.Main <nebula-algorithm-2.0.0.jar_path> -p <application.conf_path>

    示例：

    1. ${SPARK_HOME}/bin/spark-submit --master "local" --class com.vesoft.nebula.algorithm.Main /root/nebula-spark-utils/nebula-algorithm/target/nebula-algorithm-2.0.0.jar -p /root/nebula-spark-utils/nebula-algorithm/src/main/resources/application.conf

视频