数据库中的聚合算子，例如sum， avg， group by， sort等等，会耗费大量的CPU和IO资源进行计算和读写，通过并行执行的方式，将对应的算子下压到各个计算节点上，充分利用集群的计算资源，提升执行效率。 总的来看，聚合算子的下压可以分为两种计划 Partition-Wise Aggregation 示例1： explain sele...

OceanBase 设计为一个 Share-Nothing 的架构，所以它是没有任何的共享存储结构的。至少需要部署三个以上的Zone，数据在每个 Zone 都存储一份。各个节点之间完全对等，各自有各自的 SQL 引擎和存储引擎。存储引擎只能访问本地数据，而 SQL 引擎可以访问到全局 Schema，并生成分布式的查询计划。查询执行器可以访问各个节点的存储引...

分布式并行训练 分布式并行训练 在深度学习中，当数据集和参数量的规模越来越大，训练所需的时间和硬件资源会随之增加，最后会变成制约训练的瓶颈。分布式并行训练，可以降低对内存、计算性能等硬件的需求，是进行训练的重要优化手段。根据并行的原理及模式不同，业界主流的并行类型有以下几种： 数据并行（Data Parallel）：对数据进行切分的并行模式，一般按...

通过 Kubernetes 安装 Glusterfs 集群 前提条件 部署 Glusterfs 集群 通过 Kubernetes 安装 Glusterfs 集群 通过本文内容为用户说明如何通过 Kubernetes 安装一个 Glusterfs 的集群，并为 Rainbond 提供高可用存储 前提条件 安装好的 Kubernetes 集群，其...

分布式负载测试 准备 部署Web应用 部署Locust的Controller和Service 创建Controller Docker镜像（可选） 部署locust-master 部署locust-worker 配置Traefik 执行测试 分布式负载测试 该教程描述如何在Kubernetes 中进行分布式负载均衡测试，包括一个web应...

分布式同步训练 pserver模式分布式训练 NCCL2模式分布式训练 分布式同步训练 Fluid支持数据并行的分布式同步训练，API使用 DistributeTranspiler 将单机网络配置转换成可以多机执行的 pserver 端程序和 trainer 端程序。用户在不同的节点执行相同的一段代码，根据环境变量或启动参数， 可以执行对应...

分布式进程管理 了解 DC/OS 群集中的分布式进程管理 分布式进程管理 了解 DC/OS 群集中的分布式进程管理 本节介绍 DC/OS 群集中的进程管理，从资源的分配到进程的执行。在高级别上，启动一个进程时，DC/OS 组件之间会发生这种相互作用。通信发生在不同层之间（例如，与调度程序交互的用户）以及层内（例如，与代节点通信的主节点）。 ...

分布式异步训练 pserver模式分布式异步训练 分布式异步训练 Fluid支持数据并行的分布式异步训练，API使用 DistributeTranspiler 将单机网络配置转换成可以多机执行的 pserver 端程序和 trainer 端程序。用户在不同的节点执行相同的一段代码，根据环境变量或启动参数， 可以执行对应的 pserver 或...

简介 Partition-Wise Aggregation 下压加两阶段聚合 简介 数据库中的聚合算子，例如 sum，avg，group by，sort 等，会耗费大量的 CPU 和 IO 资源进行计算和读写，通过并行执行的方式，将对应的算子下压到各个计算节点上，充分利用集群的计算资源，提升执行效率。 总的来看，聚合算子的下压可以分为 Part...

分布式进程 小结 参考源码 分布式进程 在Thread和Process中，应当优选Process，因为Process更稳定，而且，Process可以分布到多台机器上，而Thread最多只能分布到同一台机器的多个CPU上。 Python的multiprocessing 模块不但支持多进程，其中managers 子模块还支持把多进程分布到多台机器上...