TiDB 4.0 RC.1 Release Notes

发版日期：2020 年 4 月 28 日

TiDB 版本：4.0.0-rc.1

兼容性变化

  • TiKV

    • 默认关闭 hibernate region #7618

  • TiDB Binlog

    • Drainer 增加对 Sequence DDL 的支持 #950

重点修复的 Bug

  • TiDB

    • 修复由于未检查 MemBuffer，事务内执行 INSERT ... ON DUPLICATE KEY UPDATE 语句插入多行重复数据可能出错的问题 #16689
    • 修复 lock 多行重复 keys 时导致数据索引不一致的问题 #16769
    • 修复回收空闲 gRPC 连接导致 TiDB panic 的问题 #16303

  • TiKV

    • 修复 TiDB 探活请求触发的死锁问题 #7540
    • 修复事务的 min commit ts 可能溢出、影响数据正确性的问题 #7642

  • TiFlash

    • 修正多数据路径配置下进行 rename table 会导致数据丢失的问题
    • 修正当 Region 处于 merge 状态时读取产生的数据错误
    • 修正当 Region 处于非 normal 状态时读取产生的数据错误
    • 修正 TiFlash 中表名的映射方式以正确支持 recover table/flashback table
    • 修正数据存储路径以解决 rename table 时潜在的数据丢失问题
    • 修正 Super batch 开启后，有一定概率 TiDB panic 的问题
    • 修正在线更新时的读模型以优化读性能

  • TiCDC

    • 修复 TiCDC 内部维护的 schema 信息对于读写操作时序问题没有正确处理导致同步失败问题 #438 #450 #478 #496
    • 修复 TiKV client 遇到部分 TiKV 异常没有正确维护内部资源的 bug #499 #492
    • 修复节点异常残留元数据信息没有正确清理的 bug #488 #504
    • 修复 TiKV client 没有正确处理 prewrite 重复发送的问题 #446
    • 修复 TiKV client 没有正确处理在初始化前接收到冗余 prewrite 的问题 #448

  • Backup & Restore (BR)

    • 修复关闭 checksum 情况下，仍然执行 checksum 的问题 #223
    • 修复 TiDB 开启 auto-random 或 alter-pk 时，增量备份失败的问题 #230 #231

新功能

  • TiDB

    • 支持发送 batch coprocessor 请求给 TiFlash #16226
    • 默认打开 Coprocessor cache #16710
    • 在 SQL 语句的特殊注释中，只有被注册了语句片段才能被 parser 正常解析，否则将被忽略 #16157
    • 支持使用 SHOW CONFIG 语法显示 PD 和 TiKV 的配置 #16475

  • TiKV

    • 支持在备份到 S3 时使用用户提供的 KMS key 进行服务端加密 #7630
    • 支持基于负载的 Region split #7623
    • 支持 common name 验证 #7468
    • 通过检查文件锁避免多个 TiKV 实例绑定相同的地址 #7447
    • Encryption at rest 支持 AWS KMS #7465

  • Placement Driver (PD)

    • 移除 config manager 以使其它组件自行控制它们的配置 #2349

  • TiFlash

    • 添加 DeltaTree 引擎读写负载相关 metrics上报
    • 缓存 handle 列和 version 列减小单次读请求的磁盘 I/O
    • 增加了 TiFlash 对于 FromUnixTime 和 Date_format 函数的支持
    • 根据第一块盘估算全局状态并上报
    • Grafana 添加 DeltaTree 引擎读写负载相关图表
    • 优化 TiFlash chunk encode decimal 的数据
    • 实现了 Diagnostics（SQL 诊断）的 gRPC API，以支持 INFORMATION_SCHEMA.CLUSTER_INFO 等系统表的查询

  • TiCDC

    • 在 Kafka sink 模块提供发送批量消息支持 #426
    • 支持在 processor 内使用文件排序 #477
    • 增加自动 resolve lock 的支持 #459
    • 增加自动向 PD 设置 TiCDC 服务级别 safepoint 的功能 #487
    • 增加数据同步时的时区配置 #498

  • Backup & Restore (BR)

    • 支持在存储的 URL 中配置 S3/GCS #246

Bug 修复

  • TiDB

    • 修复系统表由于 unsigned 列定义导致无法正确显示负数的问题 #16004
    • 当使用 use_index_merge hint 包含不存在的索引时添加警告 #15960
    • 禁止多个 TiDB server 共享同一个临时目录 #16026
    • 修复打开 plan cache 时，执行 explain for connection 语句 panic 的问题 #16285
    • 修复显示 tidb_capture_plan_baselines 系统变量不正确的问题 #16048
    • 修复 prepare 语句中的 group by 语句解析错误的问题 #16377
    • 修复 analyze primary key 可能 panic 的问题 #16081
    • 修复 cluster_info 系统表中 TiFlash 节点信息错误的问题 #16024
    • 修复 index merge 可能 panic 的问题 #16360
    • 修复 index merge 遇到 generated column 时导致结果错误的问题 #16359
    • 修复 show create table 语句显示 sequence 默认值错误的问题 #16526
    • 修复主键使用 sequence 作为默认值时出现 not-null 的错误的问题 #16510
    • 修复当 TiKV 持续返回 StaleCommand 期间执行 SQL 卡住不报错的问题 #16530
    • 修复 CREATE DATABASE 时仅指定 COLLATE 时会报错的问题，同时在 SHOW CREATE DATABASE 结果中添加缺失的 COLLATE 部分 #16540
    • 修复打开 plan-cache 时，分区裁剪失败的问题 #16723
    • 修复点查在 handle 溢出时返回错误结果的问题 #16755
    • 修复等值时间查询 slow_query 系统表返回错误结果的问题 #16806

  • TiKV

    • 解决 OpenSSL 的安全性问题：CVE-2020-1967 #7622
    • 避免将 BatchRollback 产生的 rollback 记录标为保护的记录以改善冲突较多场景下的性能 #7604
    • 修复锁竞争严重的场景下，不必要地唤醒事务导致多余的重试和性能下降的问题 #7551
    • 修复多次 merge 时，Region 可能卡住的问题 #7518
    • 修复删除 learner 时，learner 可能并未被删除的问题 #7518
    • 修复 follower read 可能使 raft-rs panic 的问题 #7408
    • 修复 SQL 可能因 “group by constant” 错误失败的问题 #7383
    • 修复当一个乐观锁对应的 primary lock 是悲观锁时，该乐观锁可能阻塞读的问题 #7328

  • Placement Driver (PD)

    • 修复部分 API TLS 认证失败的问题 #2363
    • 修复 config API 不能识别带有前缀的配置项的问题 #2354
    • 修复找不到 scheduler 时会返回 500 错误的问题 #2328
    • 修复 scheduler config balance-hot-region-scheduler list 命令返回 404 错误的问题 #2321

  • TiFlash

    • 禁用存储引擎的粗糙索引优化
    • 修正对 Region 进行 resolve lock 时遇到需要跳过的 lock 抛异常的问题
    • 修正 Coprocessor 统计信息收集的 NPE
    • 修正 Region meta 的检查以保证 Region Split/Region Merge 流程的正确性
    • 修正对 Coprocessor response 大小未做估算导致的消息大小超过 gRPC 限制的问题
    • 修正 TiFlash 对 AdminCmdType::Split 命令的处理