TiDB 4.0 RC.2 Release Notes

发版日期：2020 年 5 月 15 日

TiDB 版本：4.0.0-rc.2

兼容性变化

TiDB
- 去掉了特别为开启 Binlog 时定义的事务容量上限 (100 MB)，现在事务的容量上限统一为 10 GB，但若开启 Binlog 且下游是 Kafka，由于 Kafka 消息大小的限制是 1 GB，请根据情况调整 txn-total-size-limit 配置参数 #16941
- 查询 CLUSTER_LOG 表时，如果未指定时间范围，由默认时间范围变更为返回错误且用户必须指定时间范围 #17003
- CREATE TABLE 创建分区表时指定未支持的 sub-partition 或 linear hash 选项，将会创建非分区普通表，而不是选项未生效的分区表 #17197
TiKV
- 将加密相关的配置移到 security 分类下，即调整配置项 [encryption] 为 [security.encryption] #7810
Tools
- TiDB Lightning
  - 导入数据时将 SQL Mode 由默认改成 ONLY_FULL_GROUP_BY,NO_AUTO_CREATE_USER，提高兼容性 #316
  - 在 tidb-backend 模式下禁止访问 PD 或者 TiKV 端口 #312
  - 日志信息默认输出到 tmp 文件且在启动时输出 tmp 文件的路径 #313

重点修复的 Bug

TiDB
- 修复当 WHERE 语句只有一个等值条件时错误选择分区表分区的问题 #17054
- 修复当 WHERE 语句只包含字符串列时构造错误的 Index Range 导致结果错误的问题 #16660
- 修复事务中执行 DELETE 之后再进行唯一索引点查语句 Panic 的问题 #16991
- 修复 GC worker 在有错误发生时可能死锁的问题 #16915
- 避免 TiKV 未宕机仅响应慢情况下的无故 RegionMiss 重试 #16956
- 修改客户端 MySQL 协议握手阶段日志级别为 DEBUG，以解决干扰日志输出的问题 #16881
- 修复 TRUNCATE 后未按照表定义的 PRE_SPLIT_REGIONS 信息进行预切分 Region 的问题 #16776
- 修复两阶段提交中第二阶段遇到 TiKV 不可用重试导致的 Goroutine 暴涨的问题 #16876
- 修复部分表达式不能下推可能导致语句执行 Panic 的问题 #16869
- 修复 IndexMerge 在分区表上执行结果错误的问题 #17124
- 修复因 Memory Tracker 锁竞争引起的宽表性能回退问题 #17234
TiFlash
- 修复库名、表名含特殊字符，系统升级后无法正常启动的问题

新功能

TiDB
- 新增 BACKUP 和 RESTORE 语句进行备份与恢复 #16960
- 支持在提交前预检查单个 Region 提交数据量，并在超过阈值时预切分 Region 后再进行提交 #16959
- 新增 Session 作用域变量 LAST_PLAN_FROM_CACHE，用于指示上一条语句是否命中 Plan Cache #16830
- 支持在慢日志和 SLOW_LOG 表中记录 Cop_time 信息 #16904
- 支持在 Grafana 中展示更多 Go Runtime 内存监控指标 #16928
- 支持在 General Log 中输出 forUpdateTS 和 Read Consistency 隔离级别信息 #16946
- 支持对 TiKV Region Resolve Lock 请求进行去重 #16925
- 支持 SET CONFIG 语句进行 PD/TiKV 节点配置修改 #16853
- 支持在 CREATE TABLE 语句中指定 auto_random 选项 #16813
- 通过为 DistSQL 请求分配 TaskID 让 TiKV 更好地调度处理请求 #17155
- 支持在 MySQL 客户端登录后显示 TiDB server 版本信息 #17187
- 支持在 GROUP_CONCAT 中指定 ORDER BY 子句 #16990
- 支持在 Slow Log 中展示 Plan_from_cache 信息，用于指示语句是否命中 Plan Cache #17121
- Dashboard 支持显示 TiFlash 多盘部署容量信息功能
- Dashboard 支持通过 SQL 查询 TiFlash 日志的功能
TiKV
- 加密存储适配 tikv-ctl，适配后开启加密存储后通过 tikv-ctl 操作管理集群 #7698
- 新增加密码 Snapshot 中的 lock column famliy 的功能 #7712
- 修改 Raftstore latency 在 Grafana 面板显示方式，采用 heatmap 方便诊断性能抖动问题 #7717
- 支持配置 gRPC 消息大小的上限 #7824
- Grafana 面板中添加了 encryption 相关的监控 #7827
- TiKV 支持 ALPN 协议 #7825
- 添加了更多的关于 Titan 的统计信息 #7818
- 统一线程池支持用客户端提供的 task ID 来区分任务，以避免一个请求被来自同一个事务的另一个请求降低优先级 #7814
- 提升了 batch insert 请求的性能 #7718
PD
- 下线节点时放开 Remove peer 的速度 #2372
TiFlash
- 调整 Grafana 中 Read Index 的 Count 图表的名称为 Ops
- 优化系统负载较低时打开文件描述符的数据，降低系统资源占用量
- 新增 capacity 配置参数用于限制存储数据容量
Tools
- TiDB Lightning
  - tidb-lightning-ctl 新增 fetch-mode 子命令，输出 TiKV 集群模式 #287
- TiCDC
  - 支持通过 cdc cli 来管理同步任务 (changefeed) #546
- Backup & Restore (BR)
  - 支持备份时候自动调整 GC 时间 #257
  - 优化恢复数据时的 PD 参数，以加速恢复 #198

Bug 修复

TiDB
- 完善多个算子中判断是否使用向量化进行表达式执行的逻辑 #16383
- 修复 IndexMerge Hint 未能正确检查数据库名称的问题 #16932
- 修复 Sequence 可以被 TRUNCATE 的问题 #17037
- 修复 Sequence 可以被 INSERT/UPDATE/ANALYZE/DELETE 的问题 #16957
- 修复启动阶段执行的内部 SQL 在 Statement Summary 表中未能正确记录为内部 SQL 的问题 #17062
- 修复因 TiFlash 支持但 TiKV 不支持的过滤条件仅被下推到 IndexLookupJoin 算子之下导致的语句报错问题 #17036
- 修复开启 Collation 后，LIKE 表达式可能出现的并发问题 #16997
- 修复开启 Collation 后，LIKE 函数无法正确构造 Range 查询索引的问题 #16783
- 修复触发填充 Plan Cache 语句后执行 @@LAST_PLAN_FROM_CACHE 返回值错误的问题 #16831
- 修复为 IndexMerge 计算候选路径时漏掉 Index 上的 TableFilter 的问题 #16947
- 修复使用 MergeJoin Hint 并存在 TableDual 算子时无法产生物理查询计划的问题 #17016
- 修复 Statement Summary 表的 Stmt_Type 列值大小写错误的问题 #17018
- 修复因不同用户使用相同的 tmp-storage-path 导致服务无法启动报 Permission Denied 错误问题 #16996
- 修复返回结果类型由多个输入列决定的表达式（例如：CASE WHEN）结果类型 NotNullFlag 标识推导不正确的问题 #16995
- 修复 Green GC 在有 Dirty Store 的情况下可能遗留锁的问题 #16949
- 修复 Green GC 在遇到单个 key 有多个不同锁的情况下会遗留下锁的问题 #16948
- 修复 INSERT VALUE 中子查询引用父查询列导致插入值错误的问题 #16952
- 修复对 Float 值进行 AND 操作结果不正的问题 #16666
- 修复 Expensive Log 日志中 WAIT_TIME 字段信息错误的问题 #16907
- 修复悲观事务模式执行语句 SELECT FOR UPDATE 不能被记录到 Slow Log 的问题 #16897
- 修复在 Enum 或 Set 类型列上执行 SELECT DISTINCT 时结果错误的问题 #16892
- 修复 auto_random_base 在 SHOW CREATE TABLE 的显示问题 #16864
- 修复 WHERE string_value 结果不正确的问题 #16559
- 修复 GROUP BY Window Function 错误消息和 MySQL 不一致问题 #16165
- 修复 FLASH TABLE 语句在数据库名有大写字母时执行失败的问题 #17167
- 修复 Projection 执行器内存消耗记录不准确的问题 #17118
- 修复 SLOW_QUERY 表在不同时区下时间过滤不正确的问题 #17164
- 修复 IndexMerge 和虚拟生成列一起使用时 Panic 的问题 #17126
- 修复 INSTR 和 LOCATE 函数大小写问题 #17068
- 修复开启 tidb_allow_batch_cop 配置后频繁出现 tikv server timeout 错误的问题 #17161
- 修复 Float 类型进行 XOR 操作结果和 MySQL 8.0 不一致的问题 #16978
- 修复 ALTER TABLE REORGANIZE PARTITION 不支持但执行未报错的问题 #17178
- 修复 EXPLAIN FORMAT="dot" FOR CONNECTION ID 可能遇到不支持展示的 Plan 发生报错的问题 #17160
- 修复 Prepared Statement 在 Statement Summary 表中 EXEC_COUNT 列的记录问题 #17086
- 修复设置 Statement Summary 系统变量时未检查值是否合法的问题 #17129
- 修复启用 Plan Cache 时使用越界值查询 UNSIGNED BIGINT 主键报错的问题 #17120
- 修复 Grafana TiDB Summary 面板基于机器实例和请求类型展示 QPS 不正确的问题 #17105
TiKV
- 修复 restore 后生成大量空 Region 的问题 #7632
- 修复 Raftstore 收到乱序 read index 响应时会引发 panic 的问题 #7370
- 修复启用统一线程池时，不会验证 storage 或 coprocessor read pool 配置是否无效的问题 #7513
- 修复 TiKV server 关闭时，join 可能 panic 的问题 #7713
- 修复通过诊断 API 搜索慢日志无返回结果的问题 #7776
- 修复节点长时间运行时，系统会产生较多内存碎片的问题 #7556
- 修复部分情况下因存储无效日期导致 SQL 执行失败的问题 #7268
- 修复从 GCS 进行恢复数据不能正确运行的问题 #7739
- 修复存储加密时未进行 KMS Key Id 验证的问题 #7719
- 修复 Coprocessor 在不同架构编译器下潜在正确性问题 #7714 #7730
- 修复启用加密时出现 snapshot ingestion 错误的问题 #7815
- 修复当改写配置文件时发生 Invalid cross-device link 的问题 #7817
- 修复将配置文件写入到空文件中时会出现错误的 toml 格式的问题 #7817
- 修复 Raftstore 中已销毁的 Peer 仍然可能处理请求的问题 #7836
PD
- 修复 pd-ctl 中使用 region key 命令时发生 404 错误的问题 #2399
- 修复 Grafana 面板中缺失关于 TSO 和 ID 分配的监控的问题 #2405
- 修复 Docker 镜像中不包含 pd-recover 的问题 #2406
- 将数据目录的路径解析为绝对路径以解决 TiDB Dashboard 可能不能正确显示 PD 信息的问题 #2420
- 修复在 pd-ctl 中使用 scheduler config shuffle-region-scheduler 命令时没有默认输出的问题 #2416
TiFlash
- 修复部分场景错误上报已使用空间信息的问题
Tools
- TiDB Binlog
  - 修复当下游为 Kafka 时对 mediumint 类型数据未处理的问题 #962
  - 修复当 DDL 中库名为关键字时 reparo 解析失败的问题 #961
- TiCDC
  - 修复当环境变量 TZ 未设置时使用错误时区的问题 #512
  - 修复 owner 因为部分错误没有正确处理导致 server 退出时没有清理资源的问题 #528
  - 修复重连 TiKV 可能导致 TiCDC 阻塞的问题 #531
  - 优化初始化表结构时的内存使用 #534
  - 使用 watch 模式监听同步状态变更并进行准实时更新，减少同步延迟 #481
- Backup & Restore (BR)
  - 修复 BR 恢复带有 auto_random 属性的表之后，插入数据有一定概率触发 duplicate entry 错误的问题 #241