定位消耗系统资源多的查询

TiDB 会将执行时间超过 tidb_expensive_query_time_threshold 限制（默认值为 60s），或使用内存超过 tidb_mem_quota_query 限制（默认值为 1 GB）的语句输出到 tidb-server 日志文件（默认文件为 “tidb.log”）中，用于在语句执行结束前定位消耗系统资源多的查询语句（以下简称为 expensive query），帮助用户分析和解决语句执行的性能问题。

注意，expensive query 日志和慢查询日志的区别是，慢查询日志是在语句执行完后才打印，expensive query 日志可以将正在执行的语句的相关信息打印出来。当一条语句在执行过程中达到资源使用阈值时（执行时间/使用内存量），TiDB 会即时将这条语句的相关信息写入日志。

Expensive query 日志示例

  1. [2020/02/05 15:32:25.096 +08:00] [WARN] [expensivequery.go:167] [expensive_query] [cost_time=60.008338935s] [wait_time=0s] [request_count=1] [total_keys=70] [process_keys=65] [num_cop_tasks=1] [process_avg_time=0s] [process_p90_time=0s] [process_max_time=0s] [process_max_addr=10.0.1.9:20160] [wait_avg_time=0.002s] [wait_p90_time=0.002s] [wait_max_time=0.002s] [wait_max_addr=10.0.1.9:20160] [stats=t:pseudo] [conn_id=60026] [user=root] [database=test] [table_ids="[122]"] [txn_start_ts=414420273735139329] [mem_max="1035 Bytes (1.0107421875 KB)"] [sql="insert into t select sleep(1) from t"]

字段含义说明

基本字段：

  • cost_time：日志打印时语句已经花费的执行时间。
  • stats：语句涉及到的表或索引使用的统计信息版本。值为 pseudo 时表示无可用统计信息，需要对表或索引进行 analyze。
  • table_ids：语句涉及到的表的 ID。
  • txn_start_ts：事务的开始时间戳，也是事务的唯一 ID，可以用这个值在 TiDB 日志中查找事务相关的其他日志。
  • sql：SQL 语句。

和内存使用相关的字段：

  • mem_max：日志打印时语句已经使用的内存空间。该项使用两种单位标识内存使用量，分别为 Bytes 以及易于阅读的自适应单位（比如 MB、GB 等）。

和 SQL 执行的用户相关的字段：

  • user：执行语句的用户名。
  • conn_id：用户的连接 ID，可以用类似 con:60026 的关键字在 TiDB 日志中查找该连接相关的其他日志。
  • database：执行语句时使用的 database。

和 TiKV Coprocessor Task 相关的字段：

  • wait_time：该语句在 TiKV 的等待时间之和，因为 TiKV 的 Coprocessor 线程数是有限的，当所有的 Coprocessor 线程都在工作的时候，请求会排队；当队列中有某些请求耗时很长的时候，后面的请求的等待时间都会增加。
  • request_count：该语句发送的 Coprocessor 请求的数量。
  • total_keys：Coprocessor 扫过的 key 的数量。
  • processed_keys：Coprocessor 处理的 key 的数量。与 total_keys 相比，processed_keys 不包含 MVCC 的旧版本。如果 processed_keys 和 total_keys 相差很大，说明旧版本比较多。
  • num_cop_tasks：该语句发送的 Coprocessor 请求的数量。
  • process_avg_time：Coprocessor 执行 task 的平均执行时间。
  • process_p90_time：Coprocessor 执行 task 的 P90 分位执行时间。
  • process_max_time：Coprocessor 执行 task 的最长执行时间。
  • process_max_addr：task 执行时间最长的 Coprocessor 所在地址。
  • wait_avg_time：Coprocessor 上 task 的等待时间。
  • wait_p90_time：Coprocessor 上 task 的 P90 分位等待时间。
  • wait_max_time：Coprocessor 上 task 的最长等待时间。
  • wait_max_addr：task 等待时间最长的 Coprocessor 所在地址。