TiKV 性能参数调优

本文档用于描述如何根据机器配置情况来调整 TiKV 的参数，使 TiKV 的性能达到最优。

TiKV 最底层使用的是 RocksDB 做为持久化存储，所以 TiKV 的很多性能相关的参数都是与 RocksDB 相关的。TiKV 使用了两个 RocksDB 实例，默认 RocksDB 实例存储 KV 数据，Raft RocksDB 实例（简称 RaftDB）存储 Raft 数据。

TiKV 使用了 RocksDB 的 Column Families 特性。

  • 默认 RocksDB 实例将 KV 数据存储在内部的 default、write 和 lock 3 个 CF 内。

    • default CF 存储的是真正的数据，与其对应的参数位于 [rocksdb.defaultcf] 项中；
    • write CF 存储的是数据的版本信息（MVCC）以及索引相关的数据，相关的参数位于 [rocksdb.writecf] 项中；
    • lock CF 存储的是锁信息，系统使用默认参数。

  • Raft RocksDB 实例存储 Raft log。

    • default CF 主要存储的是 Raft log，与其对应的参数位于 [raftdb.defaultcf] 项中。

每个 CF 都有单独的 block-cache，用于缓存数据块，加速 RocksDB 的读取速度，block-cache 的大小通过参数 block-cache-size 控制，block-cache-size 越大，能够缓存的热点数据越多，对读取操作越有利，同时占用的系统内存也会越多。

每个 CF 有各自的 write-buffer，大小通过 write-buffer-size 控制。

参数说明

  1. # 日志级别，可选值为：trace，debug，info，warn，error，off
  2. log-level = "info"
  4. [server]
  5. # 监听地址
  6. # addr = "127.0.0.1:20160"
  8. # 建议使用默认值
  9. # notify-capacity = 40960
  10. # messages-per-tick = 4096
  12. # gRPC 线程池大小
  13. # grpc-concurrency = 4
  14. # TiKV 每个实例之间的 gRPC 连接数
  15. # grpc-raft-conn-num = 10
  17. # TiDB 过来的大部分读请求都会发送到 TiKV 的 coprocessor 进行处理，该参数用于设置
  18. # coprocessor 线程的个数，如果业务是读请求比较多，增加 coprocessor 的线程数，但应比系统的
  19. # CPU 核数小。例如：TiKV 所在的机器有 32 core，在重读的场景下甚至可以将该参数设置为 30。在没有
  20. # 设置该参数的情况下，TiKV 会自动将该值设置为 CPU 总核数乘以 0.8。
  21. # end-point-concurrency = 8
  23. # 可以给 TiKV 实例打标签，用于副本的调度
  24. # labels = {zone = "cn-east-1", host = "118", disk = "ssd"}
  26. [storage]
  27. # 数据目录
  28. # data-dir = "/tmp/tikv/store"
  30. # 通常情况下使用默认值就可以了。在导数据的情况下建议将该参数设置为 1024000。
  31. # scheduler-concurrency = 102400
  32. # 该参数控制写入线程的个数，当写入操作比较频繁的时候，需要把该参数调大。使用 top -H -p tikv-pid
  33. # 发现名称为 sched-worker-pool 的线程都特别忙，这个时候就需要将 scheduler-worker-pool-size
  34. # 参数调大，增加写线程的个数。
  35. # scheduler-worker-pool-size = 4
  37. [pd]
  38. # pd 的地址
  39. # endpoints = ["127.0.0.1:2379","127.0.0.2:2379","127.0.0.3:2379"]
  41. [metric]
  42. # 将 metrics 推送给 Prometheus pushgateway 的时间间隔
  43. interval = "15s"
  44. # Prometheus pushgateway 的地址
  45. address = ""
  46. job = "tikv"
  48. [raftstore]
  49. # 默认为 true，表示强制将数据刷到磁盘上。如果是非金融安全级别的业务场景，建议设置成 false，
  50. # 以便获得更高的性能。
  51. sync-log = true
  53. # Raft RocksDB 目录。默认值是 [storage.data-dir] 的 raft 子目录。
  54. # 如果机器上有多块磁盘，可以将 Raft RocksDB 的数据放在不同的盘上，提高 TiKV 的性能。
  55. # raftdb-dir = "/tmp/tikv/store/raft"
  57. region-max-size = "384MB"
  58. # region 分裂阈值
  59. region-split-size = "256MB"
  60. # 当 region 写入的数据量超过该阈值的时候，TiKV 会检查该 region 是否需要分裂。为了减少检查过程
  61. # 中扫描数据的成本，数据过程中可以将该值设置为32MB，正常运行状态下使用默认值即可。
  62. region-split-check-diff = "32MB"
  64. [rocksdb]
  65. # RocksDB 进行后台任务的最大线程数，后台任务包括 compaction 和 flush。具体 RocksDB 为什么需要进行 compaction，
  66. # 请参考 RocksDB 的相关资料。在写流量比较大的时候（例如导数据），建议开启更多的线程，
  67. # 但应小于 CPU 的核数。例如在导数据的时候，32 核 CPU 的机器，可以设置成 28。
  68. # max-background-jobs = 8
  70. # RocksDB 能够打开的最大文件句柄数。
  71. # max-open-files = 40960
  73. # RocksDB MANIFEST 文件的大小限制.
# 更详细的信息请参考：https://github.com/facebook/rocksdb/wiki/MANIFEST
  74. max-manifest-file-size = "20MB"
  76. # RocksDB write-ahead logs 目录。如果机器上有两块盘，可以将 RocksDB 的数据和 WAL 日志放在
  77. # 不同的盘上，提高 TiKV 的性能。
  78. # wal-dir = "/tmp/tikv/store"
  80. # 下面两个参数用于怎样处理 RocksDB 归档 WAL。
  81. # 更多详细信息请参考：https://github.com/facebook/rocksdb/wiki/How-to-persist-in-memory-RocksDB-database%3F
  82. # wal-ttl-seconds = 0
  83. # wal-size-limit = 0
  85. # RocksDB WAL 日志的最大总大小，通常情况下使用默认值就可以了。
  86. # max-total-wal-size = "4GB"
  88. # 可以通过该参数打开或者关闭 RocksDB 的统计信息。
  89. # enable-statistics = true
  91. # 开启 RocksDB compaction 过程中的预读功能，如果使用的是机械磁盘，建议该值至少为2MB。
  92. # compaction-readahead-size = "2MB"
  94. [rocksdb.defaultcf]
  95. # 数据块大小。RocksDB 是按照 block 为单元对数据进行压缩的，同时 block 也是缓存在 block-cache
  96. # 中的最小单元（类似其他数据库的 page 概念）。
  97. block-size = "64KB"
  99. # RocksDB 每一层数据的压缩方式，可选的值为：no,snappy,zlib,bzip2,lz4,lz4hc,zstd。
  100. # no:no:lz4:lz4:lz4:zstd:zstd 表示 level0 和 level1 不压缩，level2 到 level4 采用 lz4 压缩算法,
  101. # level5 和 level6 采用 zstd 压缩算法,。
  102. # no 表示没有压缩，lz4 是速度和压缩比较为中庸的压缩算法，zlib 的压缩比很高，对存储空间比较友
  103. # 好，但是压缩速度比较慢，压缩的时候需要占用较多的 CPU 资源。不同的机器需要根据 CPU 以及 I/O 资
  104. # 源情况来配置怎样的压缩方式。例如：如果采用的压缩方式为"no:no:lz4:lz4:lz4:zstd:zstd"，在大量
  105. # 写入数据的情况下（导数据），发现系统的 I/O 压力很大（使用 iostat 发现 %util 持续 100% 或者使
  106. # 用 top 命令发现 iowait 特别多），而 CPU 的资源还比较充裕，这个时候可以考虑将 level0 和
  107. # level1 开启压缩，用 CPU 资源换取 I/O 资源。如果采用的压缩方式
  108. # 为"no:no:lz4:lz4:lz4:zstd:zstd"，在大量写入数据的情况下，发现系统的 I/O 压力不大，但是 CPU
  109. # 资源已经吃光了，top -H 发现有大量的 bg 开头的线程（RocksDB 的 compaction 线程）在运行，这
  110. # 个时候可以考虑用 I/O 资源换取 CPU 资源，将压缩方式改成"no:no:no:lz4:lz4:zstd:zstd"。总之，目
  111. # 的是为了最大限度地利用系统的现有资源，使 TiKV 的性能在现有的资源情况下充分发挥。
  112. compression-per-level = ["no", "no", "lz4", "lz4", "lz4", "zstd", "zstd"]
  114. # RocksDB memtable 的大小。
  115. write-buffer-size = "128MB"
  117. # 最多允许几个 memtable 存在。写入到 RocksDB 的数据首先会记录到 WAL 日志里面，然后会插入到
  118. # memtable 里面，当 memtable 的大小到达了 write-buffer-size 限定的大小的时候，当前的
  119. # memtable 会变成只读的，然后生成一个新的 memtable 接收新的写入。只读的 memtable 会被
  120. # RocksDB 的 flush 线程（max-background-flushes 参数能够控制 flush 线程的最大个数）
  121. # flush 到磁盘，成为 level0 的一个 sst 文件。当 flush 线程忙不过来，导致等待 flush 到磁盘的
  122. # memtable 的数量到达 max-write-buffer-number 限定的个数的时候，RocksDB 会将新的写入
  123. # stall 住，stall 是 RocksDB 的一种流控机制。在导数据的时候可以将 max-write-buffer-number
  124. # 的值设置的更大一点，例如 10。
  125. max-write-buffer-number = 5
  127. # 当 level0 的 sst 文件个数到达 level0-slowdown-writes-trigger 指定的限度的时候，
  128. # RocksDB 会尝试减慢写入的速度。因为 level0 的 sst 太多会导致 RocksDB 的读放大上升。
  129. # level0-slowdown-writes-trigger 和 level0-stop-writes-trigger 是 RocksDB 进行流控的
  130. # 另一个表现。当 level0 的 sst 的文件个数到达 4（默认值），level0 的 sst 文件会和 level1 中
  131. # 有 overlap 的 sst 文件进行 compaction，缓解读放大的问题。
  132. level0-slowdown-writes-trigger = 20
  134. # 当 level0 的 sst 文件个数到达 level0-stop-writes-trigger 指定的限度的时候，RocksDB 会
  135. # stall 住新的写入。
  136. level0-stop-writes-trigger = 36
  138. # 当 level1 的数据量大小达到 max-bytes-for-level-base 限定的值的时候，会触发 level1 的
  139. # sst 和 level2 种有 overlap 的 sst 进行 compaction。
  140. # 黄金定律：max-bytes-for-level-base 的设置的第一参考原则就是保证和 level0 的数据量大致相
  141. # 等，这样能够减少不必要的 compaction。例如压缩方式为"no:no:lz4:lz4:lz4:lz4:lz4"，那么
  142. # max-bytes-for-level-base 的值应该是 write-buffer-size 的大小乘以 4，因为 level0 和
  143. # level1 都没有压缩，而且 level0 触发 compaction 的条件是 sst 的个数到达 4（默认值）。在
  144. # level0 和 level1 都采取了压缩的情况下，就需要分析下 RocksDB 的日志，看一个 memtable 的压
  145. # 缩成一个 sst 文件的大小大概是多少，例如 32MB，那么 max-bytes-for-level-base 的建议值就应
  146. # 该是 32MB * 4 = 128MB。
  147. max-bytes-for-level-base = "512MB"
  149. # sst 文件的大小。level0 的 sst 文件的大小受 write-buffer-size 和 level0 采用的压缩算法的
  150. # 影响，target-file-size-base 参数用于控制 level1-level6 单个 sst 文件的大小。
  151. target-file-size-base = "32MB"
  153. # 在不配置该参数的情况下，TiKV 会将该值设置为系统总内存量的 40%。如果需要在单个物理机上部署多个
  154. # TiKV 节点，需要显式配置该参数，否则 TiKV 容易出现 OOM 的问题。
  155. # block-cache-size = "1GB"
  157. [rocksdb.writecf]
  158. # 保持和 rocksdb.defaultcf.compression-per-level 一致。
  159. compression-per-level = ["no", "no", "lz4", "lz4", "lz4", "zstd", "zstd"]
  161. # 保持和 rocksdb.defaultcf.write-buffer-size 一致。
  162. write-buffer-size = "128MB"
  163. max-write-buffer-number = 5
  164. min-write-buffer-number-to-merge = 1
  166. # 保持和 rocksdb.defaultcf.max-bytes-for-level-base 一致。
  167. max-bytes-for-level-base = "512MB"
  168. target-file-size-base = "32MB"
  170. # 在不配置该参数的情况下，TiKV 会将该值设置为系统总内存量的 15%。如果需要在单个物理机上部署多个
  171. # TiKV 节点，需要显式配置该参数。版本信息（MVCC）相关的数据以及索引相关的数据都记录在 write 这
  172. # 个 cf 里面，如果业务的场景下单表索引较多，可以将该参数设置的更大一点。
  173. # block-cache-size = "256MB"
  175. [raftdb]
  176. # RaftDB 能够打开的最大文件句柄数。
  177. # max-open-files = 40960
  179. # 可以通过该参数打开或者关闭 RaftDB 的统计信息。
  180. # enable-statistics = true
  182. # 开启 RaftDB compaction 过程中的预读功能，如果使用的是机械磁盘，建议该值至少为2MB。
  183. # compaction-readahead-size = "2MB"
  185. [raftdb.defaultcf]
  186. # 保持和 rocksdb.defaultcf.compression-per-level 一致。
  187. compression-per-level = ["no", "no", "lz4", "lz4", "lz4", "zstd", "zstd"]
  189. # 保持和 rocksdb.defaultcf.write-buffer-size 一致。
  190. write-buffer-size = "128MB"
  191. max-write-buffer-number = 5
  192. min-write-buffer-number-to-merge = 1
  194. # 保持和 rocksdb.defaultcf.max-bytes-for-level-base 一致。
  195. max-bytes-for-level-base = "512MB"
  196. target-file-size-base = "32MB"
  198. # 通常配置在 256MB 到 2GB 之间，通常情况下使用默认值就可以了，但如果系统资源比较充足可以适当调大点。
  199. block-cache-size = "256MB"

TiKV 内存使用情况

除了以上列出的 block-cache 以及 write-buffer 会占用系统内存外：

  1. 需预留一些内存作为系统的 page cache
  2. TiKV 在处理大的查询的时候（例如 select * from ...）会读取数据然后在内存中生成对应的数据结构返回给 TiDB，这个过程中 TiKV 会占用一部分内存

TiKV 机器配置推荐

  1. 生产环境中，不建议将 TiKV 部署在 CPU 核数小于 8 或内存低于 32GB 的机器上
  2. 如果对写入吞吐要求比较高，建议使用吞吐能力比较好的磁盘
  3. 如果对读写的延迟要求非常高，建议使用 IOPS 比较高的 SSD 盘