HugeGraph 配置

1 概述

配置文件的目录为 hugegraph-release/conf,所有关于服务和图本身的配置都在此目录下。

主要的配置文件包括:gremlin-server.yaml、rest-server.properties 和 hugegraph.properties

HugeGraphServer 内部集成了 GremlinServer 和 RestServer,而 gremlin-server.yaml 和 rest-server.properties 就是用来配置这两个Server的。

  • GremlinServer:GremlinServer接受用户的gremlin语句,解析后转而调用Core的代码。
  • RestServer:提供RESTful API,根据不同的HTTP请求,调用对应的Core API,如果用户请求体是gremlin语句,则会转发给GremlinServer,实现对图数据的操作。

下面对这三个配置文件逐一介绍。

2 gremlin-server.yaml

gremlin-server.yaml 文件默认的内容如下:

  1. # host and port of gremlin server, need to be consistent with host and port in rest-server.properties
  2. #host: 127.0.0.1
  3. #port: 8182
  4. # timeout in ms of gremlin query
  5. scriptEvaluationTimeout: 30000
  6. channelizer: org.apache.tinkerpop.gremlin.server.channel.WsAndHttpChannelizer
  7. graphs: {
  8. hugegraph: conf/hugegraph.properties
  9. }
  10. scriptEngines: {
  11. gremlin-groovy: {
  12. plugins: {
  13. com.baidu.hugegraph.plugin.HugeGraphGremlinPlugin: {},
  14. org.apache.tinkerpop.gremlin.server.jsr223.GremlinServerGremlinPlugin: {},
  15. org.apache.tinkerpop.gremlin.jsr223.ImportGremlinPlugin: {
  16. classImports: [
  17. java.lang.Math,
  18. com.baidu.hugegraph.backend.id.IdGenerator,
  19. com.baidu.hugegraph.type.define.Directions,
  20. com.baidu.hugegraph.type.define.NodeRole,
  21. com.baidu.hugegraph.traversal.algorithm.CustomizePathsTraverser,
  22. com.baidu.hugegraph.traversal.algorithm.CustomizedCrosspointsTraverser,
  23. com.baidu.hugegraph.traversal.algorithm.FusiformSimilarityTraverser,
  24. com.baidu.hugegraph.traversal.algorithm.HugeTraverser,
  25. com.baidu.hugegraph.traversal.algorithm.NeighborRankTraverser,
  26. com.baidu.hugegraph.traversal.algorithm.PathsTraverser,
  27. com.baidu.hugegraph.traversal.algorithm.PersonalRankTraverser,
  28. com.baidu.hugegraph.traversal.algorithm.ShortestPathTraverser,
  29. com.baidu.hugegraph.traversal.algorithm.SubGraphTraverser,
  30. com.baidu.hugegraph.traversal.optimize.Text,
  31. com.baidu.hugegraph.traversal.optimize.TraversalUtil,
  32. com.baidu.hugegraph.util.DateUtil
  33. ],
  34. methodImports: [java.lang.Math#*]
  35. },
  36. org.apache.tinkerpop.gremlin.jsr223.ScriptFileGremlinPlugin: {
  37. files: [scripts/empty-sample.groovy]
  38. }
  39. }
  40. }
  41. }
  42. serializers:
  43. - { className: org.apache.tinkerpop.gremlin.driver.ser.GraphBinaryMessageSerializerV1,
  44. config: {
  45. serializeResultToString: false,
  46. ioRegistries: [com.baidu.hugegraph.io.HugeGraphIoRegistry]
  47. }
  48. }
  49. - { className: org.apache.tinkerpop.gremlin.driver.ser.GraphSONMessageSerializerV1d0,
  50. config: {
  51. serializeResultToString: false,
  52. ioRegistries: [com.baidu.hugegraph.io.HugeGraphIoRegistry]
  53. }
  54. }
  55. - { className: org.apache.tinkerpop.gremlin.driver.ser.GraphSONMessageSerializerV2d0,
  56. config: {
  57. serializeResultToString: false,
  58. ioRegistries: [com.baidu.hugegraph.io.HugeGraphIoRegistry]
  59. }
  60. }
  61. - { className: org.apache.tinkerpop.gremlin.driver.ser.GraphSONMessageSerializerV3d0,
  62. config: {
  63. serializeResultToString: false,
  64. ioRegistries: [com.baidu.hugegraph.io.HugeGraphIoRegistry]
  65. }
  66. }
  67. metrics: {
  68. consoleReporter: {enabled: false, interval: 180000},
  69. csvReporter: {enabled: false, interval: 180000, fileName: ./metrics/gremlin-server-metrics.csv},
  70. jmxReporter: {enabled: false},
  71. slf4jReporter: {enabled: false, interval: 180000},
  72. gangliaReporter: {enabled: false, interval: 180000, addressingMode: MULTICAST},
  73. graphiteReporter: {enabled: false, interval: 180000}
  74. }
  75. maxInitialLineLength: 4096
  76. maxHeaderSize: 8192
  77. maxChunkSize: 8192
  78. maxContentLength: 65536
  79. maxAccumulationBufferComponents: 1024
  80. resultIterationBatchSize: 64
  81. writeBufferLowWaterMark: 32768
  82. writeBufferHighWaterMark: 65536
  83. ssl: {
  84. enabled: false
  85. }

上面的配置项很多,但目前只需要关注如下几个配置项:channelizer 和 graphs。

  • graphs:GremlinServer 启动时需要打开的图,该项是一个 map 结构,key 是图的名字,value 是该图的配置文件路径;
  • channelizer:GremlinServer 与客户端有两种通信方式,分别是 WebSocket 和 HTTP(默认)。如果选择 WebSocket, 用户可以通过 Gremlin-Console 快速体验 HugeGraph 的特性,但是不支持大规模数据导入, 推荐使用 HTTP 的通信方式,HugeGraph 的外围组件都是基于 HTTP 实现的;

默认GremlinServer是服务在 localhost:8182,如果需要修改,配置 host、port 即可

  • host:部署 GremlinServer 机器的机器名或 IP,目前 HugeGraphServer 不支持分布式部署,且GremlinServer不直接暴露给用户;
  • port:部署 GremlinServer 机器的端口;

同时需要在 rest-server.properties 中增加对应的配置项 gremlinserver.url=http://host:port

3 rest-server.properties

rest-server.properties 文件的默认内容如下:

  1. # bind url
  2. restserver.url=http://127.0.0.1:8080
  3. # gremlin server url, need to be consistent with host and port in gremlin-server.yaml
  4. #gremlinserver.url=http://127.0.0.1:8182
  5. # graphs list with pair NAME:CONF_PATH
  6. graphs=[hugegraph:conf/hugegraph.properties]
  7. # authentication
  8. #auth.authenticator=
  9. #auth.admin_token=
  10. #auth.user_tokens=[]
  11. server.id=server-1
  12. server.role=master
  • restserver.url:RestServer 提供服务的 url,根据实际环境修改;
  • graphs:RestServer 启动时也需要打开图,该项为 map 结构,key 是图的名字,value 是该图的配置文件路径;

注意:gremlin-server.yaml 和 rest-server.properties 都包含 graphs 配置项,而 init-store 命令是根据 gremlin-server.yaml 的 graphs 下的图进行初始化的。

配置项 gremlinserver.url 是 GremlinServer 为 RestServer 提供服务的 url,该配置项默认为 http://localhost:8182,如需修改,需要和 gremlin-server.yaml 中的 host 和 port 相匹配;

4 hugegraph.properties

hugegraph.properties 是一类文件,因为如果系统存在多个图,则会有多个相似的文件。该文件用来配置与图存储和查询相关的参数,文件的默认内容如下:

  1. # gremlin entrence to create graph
  2. gremlin.graph=com.baidu.hugegraph.HugeFactory
  3. # cache config
  4. #schema.cache_capacity=100000
  5. # vertex-cache default is 1000w, 10min expired
  6. #vertex.cache_capacity=10000000
  7. #vertex.cache_expire=600
  8. # edge-cache default is 100w, 10min expired
  9. #edge.cache_capacity=1000000
  10. #edge.cache_expire=600
  11. # schema illegal name template
  12. #schema.illegal_name_regex=\s+|~.*
  13. #vertex.default_label=vertex
  14. backend=rocksdb
  15. serializer=binary
  16. store=hugegraph
  17. raft.mode=false
  18. raft.safe_read=false
  19. raft.use_snapshot=false
  20. raft.endpoint=127.0.0.1:8281
  21. raft.group_peers=127.0.0.1:8281,127.0.0.1:8282,127.0.0.1:8283
  22. raft.path=./raft-log
  23. raft.use_replicator_pipeline=true
  24. raft.election_timeout=10000
  25. raft.snapshot_interval=3600
  26. raft.backend_threads=48
  27. raft.read_index_threads=8
  28. raft.queue_size=16384
  29. raft.queue_publish_timeout=60
  30. raft.apply_batch=1
  31. raft.rpc_threads=80
  32. raft.rpc_connect_timeout=5000
  33. raft.rpc_timeout=60000
  34. search.text_analyzer=jieba
  35. search.text_analyzer_mode=INDEX
  36. # rocksdb backend config
  37. #rocksdb.data_path=/path/to/disk
  38. #rocksdb.wal_path=/path/to/disk
  39. # cassandra backend config
  40. cassandra.host=localhost
  41. cassandra.port=9042
  42. cassandra.username=
  43. cassandra.password=
  44. #cassandra.connect_timeout=5
  45. #cassandra.read_timeout=20
  46. #cassandra.keyspace.strategy=SimpleStrategy
  47. #cassandra.keyspace.replication=3
  48. # hbase backend config
  49. #hbase.hosts=localhost
  50. #hbase.port=2181
  51. #hbase.znode_parent=/hbase
  52. #hbase.threads_max=64
  53. # mysql backend config
  54. #jdbc.driver=com.mysql.jdbc.Driver
  55. #jdbc.url=jdbc:mysql://127.0.0.1:3306
  56. #jdbc.username=root
  57. #jdbc.password=
  58. #jdbc.reconnect_max_times=3
  59. #jdbc.reconnect_interval=3
  60. #jdbc.sslmode=false
  61. # postgresql & cockroachdb backend config
  62. #jdbc.driver=org.postgresql.Driver
  63. #jdbc.url=jdbc:postgresql://localhost:5432/
  64. #jdbc.username=postgres
  65. #jdbc.password=
  66. # palo backend config
  67. #palo.host=127.0.0.1
  68. #palo.poll_interval=10
  69. #palo.temp_dir=./palo-data
  70. #palo.file_limit_size=32

重点关注未注释的几项:

  • gremlin.graph:GremlinServer 的启动入口,用户不要修改此项;
  • backend:使用的后端存储,可选值有 memory、cassandra、scylladb 和 rocksdb;
  • serializer:主要为内部使用,用于将 schema、vertex 和 edge 序列化到后端,对应的可选值为 text、cassandra、scylladb 和 binary;
  • store:图存储到后端使用的数据库名,在 cassandra 和 scylladb 中就是 keyspace 名,此项的值与 GremlinServer 和 RestServer 中的图名并无关系,但是出于直观考虑,建议仍然使用相同的名字;
  • cassandra.host:backend 为 cassandra 或 scylladb 时此项才有意义,cassandra/scylladb 集群的 seeds;
  • cassandra.port:backend 为 cassandra 或 scylladb 时此项才有意义,cassandra/scylladb 集群的 native port;
  • rocksdb.data_path:backend 为 rocksdb 时此项才有意义,rocksdb 的数据目录
  • rocksdb.wal_path:backend 为 rocksdb 时此项才有意义,rocksdb 的日志目录
  • admin.token: 通过一个token来获取服务器的配置信息,例如:http://localhost:8080/graphs/hugegraph/conf?token=162f7848-0b6d-4faf-b557-3a0797869c55

5 多图配置

我们的系统是可以存在多个图的,并且各个图的后端可以不一样,比如图 hugegraph 和 hugegraph1,其中 hugegraph 以 cassandra 作为后端,hugegraph1 以 rocksdb作为后端。

配置方法也很简单:

修改 gremlin-server.yaml

在 gremlin-server.yaml 的 graphs 域中添加一个键值对,键为图的名字,值为图的配置文件路径,比如:

  1. graphs: {
  2. hugegraph: conf/hugegraph.properties,
  3. hugegraph1: conf/hugegraph1.properties
  4. }

修改 rest-server.properties

在 rest-server.properties 的 graphs 域中添加一个键值对,键为图的名字,值为图的配置文件路径,比如:

  1. graphs=[hugegraph:conf/hugegraph.properties, hugegraph1:conf/hugegraph1.properties]

添加 hugegraph1.properties

拷贝 hugegraph.properties,命名为 hugegraph1.properties,修改图对应的数据库名以及关于后端部分的参数,比如:

  1. store=hugegraph1
  2. ...
  3. backend=rocksdb
  4. serializer=binary

停止 Server,初始化执行 init-store.sh(为新的图创建数据库),重新启动 Server

  1. $ bin/stop-hugegraph.sh
  2. $ bin/init-store.sh
  3. $ bin/start-hugegraph.sh