分布式训练reader准备 实现 cluster_reader 来读取分布式训练数据集 预先切分训练文件 分布式训练reader准备 一个数据并行的分布式训练任务通常会含有多个训练进程，每个训练进程处理整个数据集中的一部分，根据当前进程的唯一序号(trainer_id)以及训练进程总数(trainers)可以决定当前训练进程应该读取哪一部分数据。...

ETCD 调优 修改磁盘 IOPS 修改 CPU 优先级 修改磁盘 IO 优先级 修改空间配额大小 修改网络优先级 ETCD 调优 修改磁盘 IOPS etcd 对磁盘写入延迟非常敏感，通常需要 50 顺序写入 IOPS(例如: 7200RPM 磁盘)。对于负载较重的集群，建议使用 500 顺序写入 IOPS(例如，典型的本地 SSD 或高...

系统架构设计 1.名词解释 2.系统架构 2.1 系统架构图 2.2 架构说明 该服务内主要包含: 该服务包含： 2.3 架构设计思想 一、去中心化vs中心化 中心化思想 去中心化 二、分布式锁实践 三、线程不足循环等待问题 四、容错设计 1. 宕机容错 2.任务失败重试 五、任务优先级设计 六、Logback和gRPC实现日志访...

系统架构设计 1.名词解释 2.系统架构 2.1 系统架构图 2.2 架构说明 该服务内主要包含: 该服务包含： 2.3 架构设计思想 一、去中心化vs中心化 中心化思想 去中心化 二、分布式锁实践 三、线程不足循环等待问题 四、容错设计 1. 宕机容错 2.任务失败重试 五、任务优先级设计 六、Logback和gRPC实现日志访...

系统架构设计 1.名词解释 2.系统架构 2.1 系统架构图 2.2 架构说明 该服务内主要包含: 该服务包含： 2.3 架构设计思想 一、去中心化vs中心化 中心化思想 去中心化 二、分布式锁实践 三、线程不足循环等待问题 四、容错设计 1. 宕机容错 2.任务失败重试 五、任务优先级设计 六、Logback和gRPC实现日志访...

系统架构设计 1.名词解释 2.系统架构 2.1 系统架构图 2.2 架构说明 该服务内主要包含: 该服务包含： 2.3 架构设计思想 一、去中心化vs中心化 中心化思想 去中心化 二、分布式锁实践 三、线程不足循环等待问题 四、容错设计 1. 宕机容错 2.任务失败重试 五、任务优先级设计 六、Logback和gRPC实现日志访...

系统架构设计 1.名词解释 2.系统架构 2.1 系统架构图 2.2 架构说明 该服务内主要包含: 该服务包含： 2.3 架构设计思想 一、去中心化vs中心化 中心化思想 去中心化 二、分布式锁实践 三、线程不足循环等待问题 四、容错设计 1. 宕机容错 2.任务失败重试 五、任务优先级设计 六、Logback和gRPC实现日志访...

TiDB 集群故障诊断 如何给 TiDB 开发者报告错误 数据库连接不上 tidb-server 启动报错 tikv-server 启动报错 pd-server 启动报错 TiDB/TiKV/PD 进程异常退出 TiKV 进程异常重启 TiDB panic 连接被拒绝 Too many open files 数据库访问超时，系统负载高 ...

Segment V2 升级手册 背景 集群升级 V2 格式转换 已有表数据转换成 V2 创建新的 V2 格式的表 全量格式转换(试验功能，不推荐) Segment V2 升级手册 背景 Doris 0.12 版本中实现了新的存储格式：Segment V2，引入词典压缩、bitmap索引、page cache等优化，能够提升系统性能。 ...

TiDB 集群故障诊断 如何给 TiDB 开发者报告错误 数据库连接不上 tidb-server 启动报错 tikv-server 启动报错 pd-server 启动报错 TiDB/TiKV/PD 进程异常退出 TiKV 进程异常重启 TiDB panic 连接被拒绝 Too many open files 数据库访问超时，系统负载高 ...