思维导图备注

百度飞桨 PaddlePaddle 1.8 深度学习平台教程
首页 白天 夜间 BookChat 小程序 小程序 阅读
  • 书签 我的书签
  • 添加书签 添加书签 移除书签 移除书签

分布式训练

 来源:百度 浏览 527 扫码 分享 2020-12-18 23:03:19
  • 分布式训练

    分布式训练

    • 分布式同步训练
    • 分布式异步训练
    • 大规模稀疏特征模型训练
    • 分布式训练reader准备
    当前内容版权归 百度 或其关联方所有，如需对内容或内容相关联开源项目进行关注与资助，请访问 百度 .
    上一篇:
    下一篇:
    • 书签
    • 添加书签 移除书签
    • 安装说明
      • Pip安装
        • Linux下的PIP安装
        • Windows下的PIP安装
        • MacOS下的PIP安装
      • Conda安装
        • Linux下的Conda安装
        • Windows下的Conda安装
        • MacOS下的Conda安装
      • 从源码编译
        • Linux下从源码编译
        • Windows下从源码编译
        • MacOS下从源码编译
      • docker安装
        • 使用Docker安装
      • 附录
    • 快速上手
      • 基本概念
        • 编程指南
        • Variable
        • Tensor
        • LoDTensor
        • Operator
        • Program
        • Executor
        • 命令式编程使用教程
      • 编程实践
        • Reader
        • 配置简单的网络
        • 单机训练
          • 训练过程中评测模型
        • 模型/变量的保存、载入与增量训练
    • 典型案例
      • 简单案例
        • 线性回归
        • 数字识别
        • 词向量
      • 计算机视觉
        • 图像分类
        • 生成对抗网络
      • 自然语言处理
        • 情感分析
        • 语义角色标注
        • 机器翻译
      • 推荐
        • 个性化推荐
      • 工具组件
        • ELASTIC CTR
        • 飞桨大规模分类库简介
    • 进阶指南
      • 准备数据
        • 声明式编程模式（静态图）
          • 准备步骤
          • 数据预处理工具
          • 异步数据读取
          • 同步数据读取
        • 命令式编程模式（动态图）
          • 数据准备、载入及加速
      • 分布式训练
        • 分布式训练快速开始
        • 使用FleetAPI进行分布式训练
      • 预测部署
        • 服务器端部署
          • 安装与编译 Linux 预测库
          • 安装与编译 Windows 预测库
          • C++ 预测 API介绍
          • C 预测 API介绍
          • Python 预测 API介绍
        • 移动端部署
          • Paddle-Lite
        • 模型压缩
      • 性能调优
        • 单机训练优秀实践
        • 存储分配与优化
        • 运行时设备切换
        • 混合精度训练最佳实践
        • 分布式CPU训练优秀实践
        • 分布式GPU训练优秀实践
        • 重计算：大Batch训练特性
        • 使用Paddle-TensorRT库预测
        • 性能优化分析及工具
          • CPU性能调优
          • timeline工具简介
      • 模型评估/调试
        • 模型评估
        • VisualDL 工具
          • VisualDL 工具简介
          • VisualDL 使用指南
      • 二次开发
        • 设计思想
        • 新增OP
          • 如何写新的C++ OP
          • C++ OP相关注意事项
          • 如何写新的Python OP
          • 如何在框架外部自定义C++ OP
        • 如何贡献代码
          • 本地开发指南
          • 提交PR注意事项
          • FAQ
      • 环境变量FLAGS
        • cudnn
        • 数值计算
        • 调试
          • check nan inf工具
        • 设备管理
        • 分布式
        • 执行器
        • 存储管理
        • 其他
    • API Reference
      • API功能分类
        • 基础概念
        • 神经网络层
          • 卷积
          • 池化
          • 图像检测
          • 序列
          • 数学操作
          • 激活函数
          • 损失函数
          • 数据输入输出
          • 控制流
          • 稀疏更新
          • 使用DataFeeder传入训练/预测数据
          • 学习率调度器
          • 张量
        • 复杂网络
        • 优化器
        • 反向传播
        • 评价指标
        • 模型保存与加载
        • 预测引擎
        • 执行引擎
        • 数据并行执行引擎
        • CompiledProgram
        • 模型参数
        • 分布式训练
          • 分布式同步训练
          • 分布式异步训练
          • 大规模稀疏特征模型训练
          • 分布式训练reader准备
        • TensorFlow-Fluid常用接口对应表
        • Caffe-Fluid常用层对应表
      • fluid
        • BuildStrategy
        • CompiledProgram
        • ComplexVariable
        • cpu_places
        • CPUPlace
        • create_lod_tensor
        • create_random_int_lodtensor
        • cuda_pinned_places
        • cuda_places
        • CUDAPinnedPlace
        • CUDAPlace
        • data
        • DataFeedDesc
        • DataFeeder
        • default_main_program
        • default_startup_program
        • disable_dygraph
        • disable_imperative
        • device_guard
        • DistributeTranspiler
        • DistributeTranspilerConfig
        • embedding
        • enable_dygraph
        • enable_imperative
        • ExecutionStrategy
        • Executor
        • get_flags
        • global_scope
        • gradients
        • in_dygraph_mode
        • is_compiled_with_cuda
        • load
        • load_op_library
        • LoDTensor
        • LoDTensorArray
        • memory_optimize
        • name_scope
        • one_hot
        • ParallelExecutor
        • ParamAttr
        • Program
        • program_guard
        • release_memory
        • require_version
        • save
        • scope_guard
        • set_flags
        • Tensor
        • Variable
        • WeightNormParamAttr
      • fluid.backward
        • append_backward
        • gradients
      • fluid.clip
        • ErrorClipByValue
        • GradientClipByGlobalNorm
        • GradientClipByNorm
        • GradientClipByValue
        • set_gradient_clip
      • dataset
        • cifar
        • Conll05
        • imdb
        • imikolov
        • mnist
        • movielens
        • sentiment
        • uci_housing
        • wmt14
        • wmt16
      • fluid.dataset
        • DatasetFactory
        • InMemoryDataset
        • QueueDataset
      • fluid.dygraph
        • BackwardStrategy
        • BatchNorm
        • BCELoss
        • BilinearTensorProduct
        • Conv2D
        • Conv2DTranspose
        • Conv3D
        • Conv3DTranspose
        • CosineDecay
        • DataParallel
        • disable_dygraph
        • disable_imperative
        • Dropout
        • declarative
        • Embedding
        • enable_dygraph
        • enable_imperative
        • enabled
        • ExponentialDecay
        • grad
        • GroupNorm
        • GRUUnit
        • guard
        • InstanceNorm
        • InverseTimeDecay
        • L1Loss
        • Layer
        • LayerList
        • LayerNorm
        • Linear
        • load_dygraph
        • MSELoss
        • NaturalExpDecay
        • NCE
        • NLLLoss
        • NoamDecay
        • ParallelEnv
        • ParameterList
        • no_grad
        • PiecewiseDecay
        • PolynomialDecay
        • Pool2D
        • PRelu
        • prepare_context
        • ProgramTranslator
        • save_dygraph
        • Sequential
        • SpectralNorm
        • to_variable
        • TracedLayer
        • TreeConv
      • fluid.executor
        • Executor
        • global_scope
        • scope_guard
      • fluid.initializer
        • Bilinear
        • BilinearInitializer
        • Constant
        • ConstantInitializer
        • MSRA
        • MSRAInitializer
        • Normal
        • NormalInitializer
        • NumpyArrayInitializer
        • TruncatedNormal
        • TruncatedNormalInitializer
        • Uniform
        • UniformInitializer
        • Xavier
        • XavierInitializer
      • fluid.io
        • batch
        • buffered
        • cache
        • chain
        • compose
        • ComposeNotAligned
        • DataLoader
        • firstn
        • get_program_parameter
        • get_program_persistable_vars
        • load
        • load_inference_model
        • load_params
        • load_persistables
        • load_program_state
        • load_vars
        • map_readers
        • multiprocess_reader
        • PyReader
        • save
        • save_inference_model
        • save_params
        • save_persistables
        • save_vars
        • set_program_state
        • shuffle
        • xmap_readers
      • fluid.layers
        • abs
        • accuracy
        • acos
        • adaptive_pool2d
        • adaptive_pool3d
        • add_position_encoding
        • addcmul
        • addmm
        • affine_channel
        • affine_grid
        • allclose
        • anchor_generator
        • arange
        • argmax
        • argmin
        • argsort
        • array_length
        • array_read
        • array_write
        • asin
        • assign
        • atan
        • auc
        • autoincreased_step_counter
        • batch_norm
        • BasicDecoder
        • beam_search
        • beam_search_decode
        • bilinear_tensor_product
        • bipartite_match
        • bmm
        • box_clip
        • box_coder
        • box_decoder_and_assign
        • bpr_loss
        • brelu
        • BeamSearchDecoder
        • case
        • cast
        • Categorical
        • ceil
        • center_loss
        • chunk_eval
        • clamp
        • clip_by_norm
        • clip
        • collect_fpn_proposals
        • concat
        • cond
        • continuous_value_model
        • conv2d
        • conv2d_transpose
        • conv3d
        • conv3d_transpose
        • cos
        • cos_sim
        • cosine_decay
        • create_array
        • create_global_var
        • create_parameter
        • create_py_reader_by_data
        • create_tensor
        • crf_decoding
        • crop
        • crop_tensor
        • cross
        • cross_entropy
        • ctc_greedy_decoder
        • cumsum
        • data
        • data_norm
        • deformable_conv
        • deformable_roi_pooling
        • density_prior_box
        • detection_output
        • diag
        • diag_embed
        • dice_loss
        • dist
        • distribute_fpn_proposals
        • dot
        • double_buffer
        • dropout
        • dynamic_gru
        • dynamic_lstm
        • dynamic_lstmp
        • dynamic_decode
        • Decoder
        • DecodeHelper
        • DynamicRNN
        • edit_distance
        • elementwise_add
        • elementwise_div
        • elementwise_equal
        • elementwise_floordiv
        • elementwise_max
        • elementwise_min
        • elementwise_mod
        • elementwise_mul
        • elementwise_pow
        • elementwise_sub
        • elu
        • embedding
        • equal
        • erf
        • exp
        • expand
        • expand_as
        • exponential_decay
        • eye
        • fc
        • fill_constant
        • filter_by_instag
        • flatten
        • flip
        • floor
        • fsp_matrix
        • full
        • full_like
        • gather
        • gather_nd
        • gather_tree
        • gaussian_random
        • gelu
        • generate_mask_labels
        • generate_proposal_labels
        • generate_proposals
        • get_tensor_from_selected_rows
        • greater_equal
        • greater_than
        • GreedyEmbeddingHelper
        • grid_sampler
        • group_norm
        • gru_unit
        • GRUCell
        • hard_shrink
        • hard_sigmoid
        • hard_swish
        • has_inf
        • has_nan
        • hash
        • hsigmoid
        • huber_loss
        • IfElse
        • im2sequence
        • image_resize
        • image_resize_short
        • increment
        • inverse_time_decay
        • index_select
        • inplace_abn
        • instance_norm
        • interpolate
        • iou_similarity
        • is_empty
        • isfinite
        • kldiv_loss
        • kron
        • l2_normalize
        • label_smooth
        • layer_norm
        • leaky_relu
        • less_equal
        • less_than
        • linear_chain_crf
        • linear_lr_warmup
        • linspace
        • load
        • locality_aware_nms
        • lod_append
        • lod_reset
        • log
        • log1p
        • log_loss
        • log_softmax
        • logical_and
        • logical_not
        • logical_or
        • logical_xor
        • logsigmoid
        • logsumexp
        • lrn
        • lstm
        • lstm_unit
        • LSTMCell
        • margin_rank_loss
        • matmul
        • maxout
        • mean
        • mean_iou
        • merge_selected_rows
        • meshgrid
        • mse_loss
        • mul
        • multi_box_head
        • multiclass_nms
        • multiplex
        • MultivariateNormalDiag
        • natural_exp_decay
        • nce
        • noam_decay
        • nonzero
        • Normal
        • not_equal
        • npair_loss
        • one_hot
        • ones
        • ones_like
        • pad
        • pad_constant_like
        • pad2d
        • piecewise_decay
        • pixel_shuffle
        • polygon_box_transform
        • polynomial_decay
        • pool2d
        • pool3d
        • pow
        • prelu
        • Print
        • prior_box
        • prroi_pool
        • psroi_pool
        • py_func
        • py_reader
        • randint
        • randn
        • random_crop
        • range
        • randperm
        • rank
        • rank_loss
        • read_file
        • reciprocal
        • reduce_all
        • reduce_any
        • reduce_max
        • reduce_mean
        • reduce_min
        • reduce_prod
        • reduce_sum
        • relu
        • relu6
        • reorder_lod_tensor_by_rank
        • reshape
        • resize_bilinear
        • resize_nearest
        • resize_trilinear
        • retinanet_detection_output
        • retinanet_target_assign
        • reverse
        • rnn
        • roi_align
        • roi_perspective_transform
        • roi_pool
        • roll
        • round
        • row_conv
        • rpn_target_assign
        • rsqrt
        • RNNCell
        • sampled_softmax_with_cross_entropy
        • SampleEmbeddingHelper
        • sampling_id
        • scale
        • scatter
        • scatter_nd_add
        • scatter_nd
        • selu
        • sequence_concat
        • sequence_conv
        • sequence_enumerate
        • sequence_expand_as
        • sequence_expand
        • sequence_first_step
        • sequence_last_step
        • sequence_mask
        • sequence_pad
        • sequence_pool
        • sequence_reshape
        • sequence_reverse
        • sequence_scatter
        • sequence_slice
        • sequence_softmax
        • sequence_unpad
        • shape
        • shard_index
        • shuffle_channel
        • sigmoid
        • sigmoid_cross_entropy_with_logits
        • sigmoid_focal_loss
        • sign
        • similarity_focus
        • sin
        • size
        • slice
        • smooth_l1
        • soft_relu
        • softmax
        • softmax_with_cross_entropy
        • softplus
        • softshrink
        • softsign
        • space_to_depth
        • split
        • sqrt
        • square
        • square_error_cost
        • squeeze
        • ssd_loss
        • stack
        • stanh
        • StaticRNN
        • strided_slice
        • sum
        • sums
        • swish
        • Switch
        • switch_case
        • t
        • tanh
        • tanh_shrink
        • target_assign
        • teacher_student_sigmoid_loss
        • temporal_shift
        • tensor_array_to_tensor
        • thresholded_relu
        • topk
        • trace
        • transpose
        • TrainingHelper
        • tril
        • triu
        • unfold
        • Uniform
        • uniform_random
        • unique
        • unique_with_counts
        • unsqueeze
        • unstack
        • warpctc
        • where
        • While
        • while_loop
        • yolo_box
        • yolov3_loss
        • zeros
        • zeros_like
      • fluid.metrics
        • Accuracy
        • Auc
        • ChunkEvaluator
        • CompositeMetric
        • DetectionMAP
        • EditDistance
        • MetricBase
        • Precision
        • Recall
      • fluid.nets
        • glu
        • img_conv_group
        • scaled_dot_product_attention
        • sequence_conv_pool
        • simple_img_conv_pool
      • fluid.optimizer
        • Adadelta
        • AdadeltaOptimizer
        • Adagrad
        • AdagradOptimizer
        • Adam
        • Adamax
        • AdamaxOptimizer
        • AdamOptimizer
        • DecayedAdagrad
        • DecayedAdagradOptimizer
        • DGCMomentumOptimizer
        • Dpsgd
        • DpsgdOptimizer
        • ExponentialMovingAverage
        • Ftrl
        • FtrlOptimizer
        • LambOptimizer
        • LarsMomentum
        • LarsMomentumOptimizer
        • LookaheadOptimizer
        • ModelAverage
        • Momentum
        • MomentumOptimizer
        • RecomputeOptimizer
        • RMSPropOptimizer
        • SGD
        • SGDOptimizer
      • fluid.profiler
        • cuda_profiler
        • profiler
        • reset_profiler
        • start_profiler
        • stop_profiler
      • fluid.regularizer
        • L1Decay
        • L1DecayRegularizer
        • L2Decay
        • L2DecayRegularizer
      • fluid.transpiler
        • DistributeTranspiler
        • DistributeTranspilerConfig
        • HashName
        • memory_optimize
        • release_memory
      • fluid.unique_name
        • generate
        • guard
        • switch
    • 常见问题
      • 安装类FAQ
      • 框架类FAQ
      • 其他常见问题
    • Release Note
    暂无相关搜索结果！

      本文档使用 BookStack 构建

      展开/收起文章目录

      分享，让知识传承更久远

      文章二维码

      手机扫一扫，轻松掌上读

      文档下载

      • 普通下载
      • 下载码下载(免登录无限下载)
      你与大神的距离，只差一个APP
      APP下载
      请下载您需要的格式的文档，随时随地，享受汲取知识的乐趣！
      PDF文档 EPUB文档 MOBI文档
      温馨提示 每天每在网站阅读学习一分钟时长可下载一本电子书，每天连续签到可增加阅读时长
      下载码方式下载：免费、免登录、无限制。 免费获取下载码

      微信小程序阅读

      BookChat 微信小程序阅读
      您与他人的薪资差距，只差一个随时随地学习的小程序

      书签列表

        阅读记录

        阅读进度: 0.00% ( 0/0 ) 重置阅读进度