分布式共识算法 分布式共识算法 前置知识 关于分布式中 CAP 问题，请先阅读“分布式事务 ”中的介绍，后文中提及的一致性、可用性、网络分区等概念，均在此文中有过介绍。 正式开始探讨分布式环境中面临的各种技术问题和解决方案以前，我们先把目光从工业界转到学术界，学习两三种具有代表性的分布式共识算法，为后续分布式环境中操作共享数据准备好理论基础。下面笔...

原始分布式时代 原始分布式时代 UNIX 的分布式设计哲学 Simplicity of both the interface and the implementation are more important than any other attributes of the system — including correctness, consis...

分布式共识算法 从类库到服务 流量治理 可靠通讯 可观测性

Glusterfs分布式存储 通过 Kubernetes 安装 Glusterfs 集群 前提条件 部署 Glusterfs 集群 Glusterfs分布式存储 通过 Kubernetes 安装 Glusterfs 集群 通过本文内容为用户说明如何通过 Kubernetes 安装一个 Glusterfs 的集群，并为 Rainbond 提供高可...

分布式理论知识 一致性模型 Paxos Bacic Paxos Multi Paxos Fast Paxos 分布式理论知识 本章介绍后端常用到的分布式理论知识，包括 cap，base理论，一致性协议算法等。 一致性模型 弱一致性(最终一致性): DNS(Domain Name System) Gossip 强一致性: 主从...

分布式通信子系统 简介 目录 约束 使用 涉及仓 分布式通信子系统 简介 设备通信方式多种多样(USB/WIFI/BT等)，不同通信方式使用差异很大且繁琐，同时通信链路的融合共享和冲突无法处理，通信安全问题也不好保证。本项目致力于实现近场设备间统一的分布式通信能力管理，提供不区分链路的设备发现和传输接口。目前实现能力包含...

分布式数据并行(DDP)入门 DataParallel 和DistributedDataParallel 之间的比较 基本用例 不均衡的处理速度 保存和载入检查点 结合DDP与模型并行化 分布式数据并行(DDP)入门 作者 ：Shen Li 译者 ：Hamish 校验 ：Hamish DistributedDataPara...

分布式执行和并行查询 分布式计划的生成 分布式执行计划调度 分布式连接 分布式聚合下压

分布式训练reader准备 实现 cluster_reader 来读取分布式训练数据集 预先切分训练文件 分布式训练reader准备 一个数据并行的分布式训练任务通常会含有多个训练进程，每个训练进程处理整个数据集中的一部分，根据当前进程的唯一序号(trainer_id)以及训练进程总数(trainers)可以决定当前训练进程应该读取哪一部分数据。...