无表头配置说明

对于无表头（header）的CSV文件，需要在配置文件里设置withHeader为false，表示CSV文件中只含有数据（不含第一行表头），同时可能还需要设置数据类型、对应的列等。

示例文件

无表头的CSV文件示例如下：

  • 点示例

    student_without_header.csv的示例数据：

    1. student100,Monica,16,female
    2. student101,Mike,18,male
    3. student102,Jane,17,female

    第一列为点ID，后面三列为属性name、age和gender。

  • 边示例

    follow_without_header.csv的示例数据：

    1. student100,student101,0,92.5
    2. student101,student100,1,85.6
    3. student101,student102,2,93.2
    4. student100,student102,1,96.2

    前两列的数据分别为起始点ID和目的点ID，第三列为rank，第四列为属性degree。

配置示例

  1. # 连接的Nebula Graph版本，连接2.x时设置为v2。
  2. version: v2
  4. description: example
  6. # 是否删除临时生成的日志和错误数据文件。
  7. removeTempFiles: false
  9. clientSettings:
  11.   # nGQL语句执行失败的重试次数。
  12.   retry: 3
  14.   # Nebula Graph客户端并发数。
  15.   concurrency: 10 
  17.   # 每个Nebula Graph客户端的缓存队列大小。
  18.   channelBufferSize: 128
  20.   # 指定数据要导入的Nebula Graph图空间。
  21.   space: student
  23.   # 连接信息。
  24.   connection:
  25.     user: root
  26.     password: nebula
  27.     address: 192.168.11.13:9669
  29.   postStart:
  30.     # 配置连接Nebula Graph服务器之后，在插入数据之前执行的一些操作。
  31.     commands: |
  32.       DROP SPACE IF EXISTS student;
  33.       CREATE SPACE IF NOT EXISTS student(partition_num=5, replica_factor=1, vid_type=FIXED_STRING(20));
  34.       USE student;
  35.       CREATE TAG student(name string, age int,gender string);
  36.       CREATE EDGE follow(degree int);
  38.     # 执行上述命令后到执行插入数据命令之间的间隔。
  39.     afterPeriod: 15s
  41.   preStop:
  42.     # 配置断开Nebula Graph服务器连接之前执行的一些操作。
  43.     commands: |
  45. # 错误等日志信息输出的文件路径。    
  46. logPath: ./err/test.log
  48. # CSV文件相关设置。
  49. files:
  51.     # 数据文件的存放路径，如果使用相对路径，则会将路径和当前配置文件的目录拼接。本示例第一个数据文件为点的数据。
  52.   - path: ./student_without_header.csv
  54.     # 插入失败的数据文件存放路径，以便后面补写数据。
  55.     failDataPath: ./err/studenterr.csv
  57.     # 单批次插入数据的语句数量。
  58.     batchSize: 10
  60.     # 读取数据的行数限制。
  61.     limit: 10
  63.     # 是否按顺序在文件中插入数据行。如果为false，可以避免数据倾斜导致的导入速率降低。
  64.     inOrder: true
  66.     # 文件类型，当前仅支持csv。
  67.     type: csv
  69.     csv:
  70.       # 是否有表头。
  71.       withHeader: false
  73.       # 是否有LABEL。
  74.       withLabel: false
  76.       # 指定csv文件的分隔符。只支持一个字符的字符串分隔符。
  77.       delimiter: ","
  79.     schema:
  80.       # Schema的类型，可选值为vertex和edge。
  81.       type: vertex
  83.       vertex:
  85.         # 点ID设置。
  86.         vid:
  87.            # 点ID对应CSV文件中列的序号。CSV文件中列的序号从0开始。
  88.            index: 0
  90.            # 点ID的数据类型，可选值为int和string，分别对应Nebula Graph中的INT64和FIXED_STRING。
  91.            type: string
  93.         # Tag设置。   
  94.         tags:
  95.             # Tag名称。
  96.           - name: student
  98.             # Tag内的属性设置。
  99.             props:
  100.                 # 属性名称。
  101.               - name: name
  103.                 # 属性数据类型。
  104.                 type: string
  106.                 # 属性对应CSV文件中列的序号。
  107.                 index: 1
  109.               - name: age
  110.                 type: int
  111.                 index: 2
  112.               - name: gender
  113.                 type: string
  114.                 index: 3
  116.     # 本示例第二个数据文件为边的数据。
  117.   - path: ./follow_without_header.csv
  118.     failDataPath: ./err/followerr.csv
  119.     batchSize: 10
  120.     limit: 10
  121.     inOrder: true
  122.     type: csv
  123.     csv:
  124.       withHeader: false
  125.       withLabel: false
  126.     schema:
  127.       # Schema的类型为edge。
  128.       type: edge
  129.       edge:
  130.         # Edge type名称。
  131.         name: follow
  133.         # 是否包含rank。
  134.         withRanking: true
  136.         # 起始点ID设置。
  137.         srcVID:
  138.            # 数据类型。
  139.            type: string
  141.            # 起始点ID对应CSV文件中列的序号。
  142.            index: 0
  144.         # 目的点ID设置。
  145.         dstVID:
  146.            type: string
  147.            index: 1
  149.         # rank设置。
  150.         rank:
  151.            # rank值对应CSV文件中列的序号。如果没有设置index，请务必在第三列设置rank的值。之后的列依次设置各属性。
  152.            index: 2
  154.         # Edge type内的属性设置。
  155.         props:
  156.              # 属性名称。
  157.            - name: degree
  159.              # 属性数据类型。
  160.              type: double
  162.              # 属性对应CSV文件中列的序号。
  163.              index: 3

Note

  • CSV文件中列的序号从0开始，即第一列的序号为0，第二列的序号为1。

  • 点ID的数据类型需要和clientSettings.postStart.commands中的创建图空间语句的数据类型一致。

  • 如果没有设置index字段指定列的序号，CSV文件必须遵守如下规则：

    • 在点数据文件中，第一列必须为点ID，后面的列为属性，且需要和配置文件内的顺序一一对应。

    • 在边数据文件中，第一列必须为起始点ID，第二列必须为目的点ID，如果withRanking为true，第三列必须为rank值，后面的列为属性，且需要和配置文件内的顺序一一对应。

最后更新: June 29, 2021