分布式GPU训练最佳实践 开始优化您的GPU分布式训练任务 可配置项一览 选择通信模式和执行模式 设置合适的CPU线程数 预先分配足够的显存 降低scope drop频率和fetch频率 启用RDMA多机通信 使用GPU完成部分图片预处理 增大batch_size或使用设置通信频率（batch merge） 优化reader性能 使用混合精...

使用Pinpoint做分布式跟踪 什么是Pinpoint(摘自Pinpoint学习笔记) 服务器地图(ServerMap) 实时活动线程图表(Realtime Active Thread Chart) 请求/应答分布图表(Request/Response Scatter Chart) 调用栈(CallStack) 巡查(Inspector) 支持模...

分布式自增 ID（Snowflake） 分布式自增 ID（Snowflake） Phalcon 提供了 Phalcon\Snowflake 类来生成自增ID。 <? php   $snowflake = new Phalcon \Snowflake ; $id = $snowflake -> nextId (); $desc...

第6章 分布式系统 第6章 分布式系统 被别人指出问题时，别管别人能不能做到，看别人说的对不对，然后完善自己。别人能不能做到是别人的事情，自己能不能做到关系到自己能否发展的更好。——hustlihaifeng Go语言号称是互联网时代的C语言。现在的互联网系统已经不是以前的一个主机搞定一切的时代，互联网时代的后台服务由大量的分布式系统构成，任何单一...

使用 CurveAdm 部署分布式缓存 分布式缓存介绍 部署步骤 使用 CurveAdm 部署分布式缓存 分布式缓存介绍 分布式缓存集群不是必须要部署的，但如需进一步提升性能，可以为 CurveFS 集群部署分布式缓存服务（当前基于memcached集群），CurveFS 客户端缓存当前有内存、本地硬盘、分布式缓存3类，分别为L1、L2、L3级缓...

开始探索 GreptimeDB 分布式集群 安装 gtctl 并运行 playground 在 Kubernetes 中部署 GreptimeDB 集群 开始探索 GreptimeDB 分布式集群 GreptimeDB 可以运行于 cluster 模式以支持水平扩展。 安装 gtctl 并运行 playground gtctl 是用于管理 ...

常见的分布式并行策略 为什么分布式训练越来越流行 常见的并行策略 数据并行 模型并行 流水并行 混合并行 常见的分布式并行策略 为什么分布式训练越来越流行 近年来，深度学习被广泛应用到各个领域，包括计算机视觉、语言理解、语音识别、广告推荐等。在这些不同的领域中，一个共同的特点就是模型规模越来越大，比如 GPT-3 模型的参数量达到1750...