TiDB 4.0.3 Release Notes

TiDB 4.0.3 Release Notes

发版日期：2020 年 7 月 24 日

TiDB 版本：4.0.3

新功能

TiDB Dashboard
- 显示详细的 TiDB Dashboard 版本信息 #679
- 显示不受支持的浏览器或过时的浏览器的兼容性通知 #654
- 支持在 SQL 语句分析页面搜索 #658
TiFlash
- TiFlash proxy 支持文件加密功能
Tools
- Backup & Restore (BR)
  - 支持使用 zstd、lz4、snappy 算法压缩备份文件 #404
- TiCDC
  - 支持 sink-uri 中配置 Kafka 客户端的 ID #706
  - 支持离线更新同步任务的配置 #699
  - 支持自定义同步任务的 ID #727
  - 支持使用 SSL 加密链接向 MySQL 输出数据 #347
  - 支持输出 Avro 格式的变更数据 #753
  - 支持向 Apache Pulsar 输出变更数据 #751
- Dumpling
  - 支持自定义 CSV 文件的分隔符和换行符 #116
  - 支持自定义输出文件名格式 #122

改进提升

TiDB
- 增加全局变量 tidb_log_desensitization 来控制在日志中记录 SQL 时是否脱敏 #18581
- 默认打开 tidb_allow_batch_cop #18552
- 加速 kill tidb sesesion_id 的执行速度 #18505
- 函数 tidb_decode_plan 的结果增加表头输出 #18501
- 配置检查器可以兼容旧版本的配置文件 #18046
- 默认打开执行信息的收集 #18518
- 增加系统表 tiflash_tables 和 tiflash_segments #18536
- AUTO RANDOM 被移出实验特性并正式 GA，有如下的改进和兼容性修改：
  - 在配置文件中，将 experimental.allow-auto-random 废弃，该无论该选项如何配置，都可以在列上定义 AUTO_RANDOM 属性 #18613 #18623
  - 为避免显式写入 AUTO_RANDOM 列造成非预期的 AUTO_RANDOM_BASE 的更新，新增 session 变量 tidb_allow_auto_random_explicit_insert 用于控制 AUTO_RANDOM 列的显式写入，该变量默认值为 false #18508
  - 为避免分配空间被快速消耗，AUTO_RANDOM 列现在仅允许在 BIGINT 和 UNSIGNED BIGINT 列上定义，并将最大的 Shard Bit 数量限制为 15 #18538
  - 当在 BIGINT 列上定义 AUTO_RANDOM 属性，并显示插入负值的整型主键时，将不会再触发 AUTO_RANDOM_BASE 的更新 #17987
  - 当在 UNSIGNED BIGINT 列上定义 AUTO_RANDOM 属性，分配 ID 时将利用整数的最高位以获得更大的分配空间 #18404
  - 在 SHOW CREATE TABLE 的结果中支持 AUTO_RANDOM_BASE 属性的更新 #18316
TiKV
- 添加了新的配置项 backup.num-threads 用语控制 backup 线程池的大小 #8199
- 收取 snapshot 时不再发送 store heartbeat #8136
- 支持动态调整 shared block cache 的大小 #8232
PD
- 支持 JSON 格式日志 #2565
TiDB Dashboard
- 优化 key Visualizer 中冷表的 bucket 合并 #674
- 重命名配置项 disable-telemetry 以使遥测更一致 #684
- 切换页面时显示进度条 #661
- 保证慢日志查询和日志查询行为的一致性，即使在空格存在的情况 #682
TiFlash
- 将 Grafana DDL Jobs 面板中的单位修改为 operations per minute
- 在 Grafana 中新增关于 TiFlash-Proxy 的详细监控指标面板
- 降低 TiFlash Proxy 的 IOPS
Tools
- TiCDC
  - 将监控指标总的表 ID 替换为表名 #695
- Backup & Restore (BR)
  - 支持输出 JSON 格式的日志 #336
  - 支持在运行 BR 期间动态开启 pprof #372
  - 加速恢复时 DDL 的执行速度 #377
- TiDB Lightning
  - 使用一种更加简单易懂的表过滤机制替换原先的黑白名单机制 #332

Bug 修复

TiDB
- 当 IndexHashJoin 遇到执行中发生非内存相关的错误时，返回错误而不是空结果集 #18586
- 修复 gRPC transportReader 导致的反复异常 #18562
- 修复因为 Green GC 不会扫描已下线 store 上的锁而可能导致数据不完整的问题 #18550
- 非只读语句不会使用 TiFlash 引擎 #18534
- 当查询连接异常时返回真实的错误信息 #18500
- 修复非 repair mode 的 TiDB 节点不会重新读取修复的表元信息的错误 #18323
- 修复当锁住的 primary key 在当前事务被插入/删除时可能造成的结果不一致问题 #18291
- 修复数据落盘为正确生效导致的内存溢出 #18288
- 修复 REPLACE INTO 语句作用在包含生成列的表时会错误报错的问题 #17907
- 当 IndexHashJoin 及 IndexMergeJoin 执行异常时抛出 Out Of Memory Quota! 错误 #18527
- 修复当 Index Join 使用的索引包含整型主键时，特殊情况下执行结果可能出错的问题 #18565
- 修复当开启 new collation 时，若在事务内的更新涉及了 new collation 列，并在该事务内通过唯一索引读取更新数据时，被更新的数据无法被读取到的问题 #18703
TiKV
- 修复 merge 期间可能读到过期数据的问题 #8113
- 修复聚合函数 min/max 下推到 TiKV 时，collation 不能正确工作的问题 #8108
PD
- 修复如果服务器崩溃，创建 TSO 流可能会被阻塞一段时间的问题 #2648
- 修复 getSchedulers 可能导致数据争用的问题 #2638
- 修复删除 scheduler 时导致死锁的问题 #2637
- 修复 balance-leader-scheduler 没有考虑 placement rule 的问题 #2636
- 修复有时无法正确设置 safepoint 的问题，这可能会使 BR 和 dumpling 失败 #2635
- 修复 hot region scheduler 中目标 store 选择错误的问题 #2627
- 修复 PD Leader 切换时 TSO 请求可能花费太长时间的问题 #2622
- 修复 PD Leader 切换后过期 scheduler 的问题 #2608
- 修复了启用 placement rule 时，有时 Region 的副本可能无法调整到最佳位置的问题 #2605
- 修复了存储的部署路径不会随着部署目录移动而更新的问题 #2600
- 修复了 store limit 可能为零的问题 #2588
TiDB Dashboard
- 修复 TiDB 扩容时的 TiDB 连接错误 #689
- 修复 TiFlash 实例未显示在日志搜索页面的问题 #680
- 修复概况页面刷新之后 metrics 会重置的问题 #663
- 修复某些 TLS 方案中的连接问题 #660
- 修复在某些情况下无法正确显示语言的下拉列表 #677
TiFlash
- 修复更改主键列名后 TiFlash 崩溃的问题
- 修复 Learner Read 与 Remove Region 并发时可能的死锁问题
Tools
- TiCDC
  - 解决了某些场景下可能发生的 OOM 问题 #704
  - 解决了某些特殊表名可能导致 SQL 语法出错的问题 #676
  - 解决了同步任务处理单元无法正常退出的问题 #693
- Backup & Restore (BR)
  - 解决了备份汇总报告中时间为负数的问题 #405
- Dumpling
  - 解决了 NULL 值在有 --r 参数时被忽略的问题 #119
  - 解决了导出数据时 flush table 没有正常工作的问题 #117
- TiDB Lightning
  - 解决了 --log-file 参数不生效的问题 #345
- TiDB Binlog
  - 修复开启 TLS 写下游时用来保存 checkpoint 的 DB 没有开启 TLS 导致 Drainer 无法启动的问题 #988