思维导图备注

PaddlePaddle（飞桨） v1.6 深度学习平台使用文档
首页 白天 夜间 BookChat 小程序 小程序 阅读
  • 书签 我的书签
  • 添加书签 添加书签 移除书签 移除书签

分布式训练

 来源:百度 浏览 598 扫码 分享 2020-05-04 12:11:59
  • 分布式训练

    分布式训练

    • 分布式同步训练
    • 分布式异步训练
    • 大规模稀疏特征模型训练
    • 分布式训练reader准备
    当前内容版权归 百度 或其关联方所有，如需对内容或内容相关联开源项目进行关注与资助，请访问 百度 .
    上一篇:
    下一篇:
    • 书签
    • 添加书签 移除书签
    • 新手入门
      • 快速开始
      • 安装说明
        • Ubuntu下安装
        • CentOS下安装
        • MacOS下安装
        • Windows下安装
        • 使用conda安装
        • 使用Docker安装
        • 从源码编译
          • Ubuntu下从源码编译
          • CentOS下从源码编译
          • MacOS下从源码编译
          • Windows下从源码编译
        • 附录
      • 深度学习基础教程
        • 线性回归
        • 数字识别
        • 图像分类
        • 词向量
        • 个性化推荐
        • 情感分析
        • 语义角色标注
        • 机器翻译
        • 生成对抗网络
      • 编程指南
    • 使用指南
      • 基本概念
        • Variable
        • Tensor
        • LoDTensor
        • Operator
        • Program
        • Executor
      • 准备数据
        • 准备步骤
        • 数据预处理工具
        • 异步数据读取
        • 同步数据读取
      • 配置简单的网络
      • 训练神经网络
        • 单机训练
          • 训练过程中评测模型
        • 多机训练
          • 分布式训练快速开始
          • 分布式训练使用手册
          • 使用FleetAPI进行分布式训练
          • ELASTIC CTR
          • 1. 总体概览
          • 2. 前置需求
          • 3. 分布式训练+Serving方案一键部署
          • 4. 查看结果
          • 5. 二次开发指南
          • 注释
        • 模型/变量的保存、载入与增量训练
      • 模型评估/调试
        • 模型评估
        • VisualDL 工具
          • VisualDL 工具简介
          • VisualDL 使用指南
      • 动态图机制-DyGraph
      • 模型库
    • 进阶使用
      • 设计思想
      • 预测部署
        • 服务器端部署
          • 安装与编译C++预测库
          • C++ 预测 API介绍
          • Python 预测 API介绍
          • C 预测 API介绍
          • 使用Paddle-TensorRT库预测
          • 安装与编译Windows预测库
        • 移动端部署
          • Paddle-Lite
      • 新增OP
        • 如何写新的C++ OP
        • C++ OP相关注意事项
        • 如何写新的Python OP
        • 如何在框架外部自定义C++ OP
      • 性能调优
        • CPU性能调优
        • 堆内存分析和优化
        • timeline工具简介
      • 优秀实践
        • 分布式CPU训练优秀实践
        • 分布式GPU训练优秀实践
        • 单机训练优秀实践
        • 存储分配与优化
      • 模型压缩工具库
      • 如何贡献代码
        • 本地开发指南
        • 提交PR注意事项
        • FAQ
      • 如何贡献文档
    • API Reference
      • API功能分类
        • 基础概念
        • 神经网络层
          • 卷积
          • 池化
          • 图像检测
          • 序列
          • 数学操作
          • 激活函数
          • 损失函数
          • 数据输入输出
          • 控制流
          • 稀疏更新
          • 使用DataFeeder传入训练/预测数据
          • 学习率调度器
          • 张量
        • 复杂网络
        • 优化器
        • 反向传播
        • 评价指标
        • 模型保存与加载
        • 预测引擎
        • 执行引擎
        • 数据并行执行引擎
        • CompiledProgram
        • 模型参数
        • 分布式训练
          • 分布式同步训练
          • 分布式异步训练
          • 大规模稀疏特征模型训练
          • 分布式训练reader准备
        • TensorFlow-Fluid常用接口对应表
        • Caffe-Fluid常用层对应表
      • fluid
        • BuildStrategy
        • CompiledProgram
        • cpu_places
        • CPUPlace
        • create_lod_tensor
        • create_random_int_lodtensor
        • cuda_pinned_places
        • cuda_places
        • CUDAPinnedPlace
        • CUDAPlace
        • data
        • DataFeedDesc
        • DataFeeder
        • default_main_program
        • default_startup_program
        • DistributeTranspiler
        • DistributeTranspilerConfig
        • embedding
        • ExecutionStrategy
        • Executor
        • global_scope
        • gradients
        • in_dygraph_mode
        • is_compiled_with_cuda
        • LoDTensor
        • LoDTensorArray
        • memory_optimize
        • name_scope
        • one_hot
        • ParallelExecutor
        • ParamAttr
        • Program
        • program_guard
        • release_memory
        • scope_guard
        • Tensor
        • Variable
        • WeightNormParamAttr
      • fluid.backward
        • append_backward
        • gradients
      • fluid.clip
        • ErrorClipByValue
        • GradientClipByGlobalNorm
        • GradientClipByNorm
        • GradientClipByValue
        • set_gradient_clip
      • dataset
        • mnist
        • cifar
        • Conll05
        • imdb
        • imikolov
        • movielens
        • sentiment
        • uci_housing
        • wmt14
        • wmt16
      • fluid.dataset
        • DatasetFactory
        • InMemoryDataset
        • QueueDataset
      • fluid.dygraph
        • BackwardStrategy
        • BatchNorm
        • BilinearTensorProduct
        • Conv2D
        • Conv2DTranspose
        • Conv3D
        • Conv3DTranspose
        • CosineDecay
        • Embedding
        • ExponentialDecay
        • FC
        • GroupNorm
        • GRUUnit
        • guard
        • InverseTimeDecay
        • Layer
        • LayerNorm
        • load_dygraph
        • NaturalExpDecay
        • NCE
        • NoamDecay
        • no_grad
        • PiecewiseDecay
        • PolynomialDecay
        • Pool2D
        • PRelu
        • save_dygraph
        • SpectralNorm
        • to_variable
        • TreeConv
      • fluid.executor
        • Executor
        • global_scope
        • scope_guard
      • fluid.initializer
        • Bilinear
        • BilinearInitializer
        • Constant
        • ConstantInitializer
        • force_init_on_cpu
        • init_on_cpu
        • MSRA
        • MSRAInitializer
        • Normal
        • NormalInitializer
        • NumpyArrayInitializer
        • TruncatedNormal
        • TruncatedNormalInitializer
        • Uniform
        • UniformInitializer
        • Xavier
        • XavierInitializer
      • fluid.io
        • batch
        • buffered
        • cache
        • chain
        • compose
        • DataLoader
        • firstn
        • load
        • load_inference_model
        • load_params
        • load_persistables
        • load_vars
        • map_readers
        • multiprocess_reader
        • PyReader
        • save
        • save_inference_model
        • save_params
        • save_persistables
        • save_vars
        • shuffle
        • xmap_readers
      • fluid.layers
        • abs
        • accuracy
        • acos
        • adaptive_pool2d
        • adaptive_pool3d
        • add_position_encoding
        • affine_channel
        • affine_grid
        • anchor_generator
        • argmax
        • argmin
        • argsort
        • array_length
        • array_read
        • array_write
        • asin
        • assign
        • atan
        • auc
        • autoincreased_step_counter
        • batch_norm
        • beam_search
        • beam_search_decode
        • bilinear_tensor_product
        • bipartite_match
        • box_clip
        • box_coder
        • box_decoder_and_assign
        • bpr_loss
        • brelu
        • BeamSearchDecoder
        • cast
        • Categorical
        • ceil
        • center_loss
        • chunk_eval
        • clip_by_norm
        • clip
        • collect_fpn_proposals
        • concat
        • continuous_value_model
        • conv2d
        • conv2d_transpose
        • conv3d
        • conv3d_transpose
        • cos
        • cos_sim
        • cosine_decay
        • create_array
        • create_global_var
        • create_parameter
        • create_py_reader_by_data
        • create_tensor
        • crf_decoding
        • crop
        • crop_tensor
        • cross_entropy
        • ctc_greedy_decoder
        • cumsum
        • data
        • data_norm
        • deformable_conv
        • deformable_roi_pooling
        • density_prior_box
        • detection_output
        • diag
        • dice_loss
        • distribute_fpn_proposals
        • double_buffer
        • dropout
        • dynamic_gru
        • dynamic_lstm
        • dynamic_lstmp
        • dynamic_decode
        • Decoder
        • DynamicRNN
        • edit_distance
        • elementwise_add
        • elementwise_div
        • elementwise_floordiv
        • elementwise_max
        • elementwise_min
        • elementwise_mod
        • elementwise_mul
        • elementwise_pow
        • elementwise_sub
        • elu
        • embedding
        • equal
        • exp
        • expand
        • expand_as
        • exponential_decay
        • eye
        • fc
        • fill_constant_batch_size_like
        • fill_constant
        • filter_by_instag
        • flatten
        • floor
        • fsp_matrix
        • gather
        • gather_nd
        • gather_tree
        • gaussian_random_batch_size_like
        • gaussian_random
        • generate_mask_labels
        • generate_proposal_labels
        • generate_proposals
        • get_tensor_from_selected_rows
        • greater_equal
        • greater_than
        • grid_sampler
        • group_norm
        • gru_unit
        • GRUCell
        • hard_shrink
        • hard_sigmoid
        • hard_swish
        • has_inf
        • has_nan
        • hash
        • hsigmoid
        • huber_loss
        • IfElse
        • im2sequence
        • image_resize
        • image_resize_short
        • increment
        • inverse_time_decay
        • instance_norm
        • iou_similarity
        • is_empty
        • isfinite
        • kldiv_loss
        • l2_normalize
        • label_smooth
        • layer_norm
        • leaky_relu
        • less_equal
        • less_than
        • linear_chain_crf
        • linear_lr_warmup
        • linspace
        • load
        • lod_append
        • lod_reset
        • log
        • log_loss
        • logical_and
        • logical_not
        • logical_or
        • logical_xor
        • logsigmoid
        • lrn
        • lstm
        • lstm_unit
        • LSTMCell
        • margin_rank_loss
        • matmul
        • maxout
        • mean
        • mean_iou
        • merge_selected_rows
        • mse_loss
        • mul
        • multi_box_head
        • multiclass_nms
        • multiplex
        • MultivariateNormalDiag
        • natural_exp_decay
        • nce
        • noam_decay
        • Normal
        • not_equal
        • npair_loss
        • one_hot
        • ones
        • ones_like
        • pad
        • pad_constant_like
        • pad2d
        • piecewise_decay
        • pixel_shuffle
        • polygon_box_transform
        • polynomial_decay
        • pool2d
        • pool3d
        • pow
        • prelu
        • Print
        • prior_box
        • prroi_pool
        • psroi_pool
        • py_func
        • py_reader
        • random_crop
        • range
        • rank
        • rank_loss
        • read_file
        • reciprocal
        • reduce_all
        • reduce_any
        • reduce_max
        • reduce_mean
        • reduce_min
        • reduce_prod
        • reduce_sum
        • relu
        • relu6
        • reorder_lod_tensor_by_rank
        • reshape
        • resize_bilinear
        • resize_nearest
        • resize_trilinear
        • retinanet_detection_output
        • retinanet_target_assign
        • reverse
        • rnn
        • roi_align
        • roi_perspective_transform
        • roi_pool
        • round
        • row_conv
        • rpn_target_assign
        • rsqrt
        • RNNCell
        • sampled_softmax_with_cross_entropy
        • sampling_id
        • scale
        • scatter
        • scatter_nd_add
        • scatter_nd
        • selu
        • sequence_concat
        • sequence_conv
        • sequence_enumerate
        • sequence_expand_as
        • sequence_expand
        • sequence_first_step
        • sequence_last_step
        • sequence_mask
        • sequence_pad
        • sequence_pool
        • sequence_reshape
        • sequence_reverse
        • sequence_scatter
        • sequence_slice
        • sequence_softmax
        • sequence_unpad
        • shape
        • shard_index
        • shuffle_channel
        • shuffle
        • sigmoid
        • sigmoid_cross_entropy_with_logits
        • sigmoid_focal_loss
        • sign
        • similarity_focus
        • sin
        • slice
        • smooth_l1
        • soft_relu
        • softmax
        • softmax_with_cross_entropy
        • softplus
        • softshrink
        • softsign
        • space_to_depth
        • spectral_norm
        • split
        • sqrt
        • square
        • square_error_cost
        • squeeze
        • ssd_loss
        • stack
        • stanh
        • StaticRNN
        • strided_slice
        • sum
        • sums
        • swish
        • Switch
        • tanh
        • tanh_shrink
        • target_assign
        • teacher_student_sigmoid_loss
        • temporal_shift
        • tensor_array_to_tensor
        • thresholded_relu
        • topk
        • transpose
        • unfold
        • Uniform
        • uniform_random
        • uniform_random_batch_size_like
        • unique
        • unique_with_counts
        • unsqueeze
        • unstack
        • warpctc
        • where
        • While
        • yolo_box
        • yolov3_loss
        • zeros
        • zeros_like
      • fluid.metrics
        • Accuracy
        • Auc
        • ChunkEvaluator
        • CompositeMetric
        • DetectionMAP
        • EditDistance
        • MetricBase
        • Precision
        • Recall
      • fluid.nets
        • glu
        • img_conv_group
        • scaled_dot_product_attention
        • sequence_conv_pool
        • simple_img_conv_pool
      • fluid.optimizer
        • Adadelta
        • AdadeltaOptimizer
        • Adagrad
        • AdagradOptimizer
        • Adam
        • Adamax
        • AdamaxOptimizer
        • AdamOptimizer
        • DecayedAdagrad
        • DecayedAdagradOptimizer
        • DGCMomentumOptimizer
        • ExponentialMovingAverage
        • Ftrl
        • FtrlOptimizer
        • LambOptimizer
        • LarsMomentum
        • LarsMomentumOptimizer
        • LookaheadOptimizer
        • ModelAverage
        • Momentum
        • MomentumOptimizer
        • PipelineOptimizer
        • RecomputeOptimizer
        • RMSPropOptimizer
        • SGD
        • SGDOptimizer
      • fluid.profiler
        • cuda_profiler
        • profiler
        • reset_profiler
        • start_profiler
        • stop_profiler
      • fluid.regularizer
        • L1Decay
        • L1DecayRegularizer
        • L2Decay
        • L2DecayRegularizer
      • fluid.transpiler
        • DistributeTranspiler
        • DistributeTranspilerConfig
        • HashName
        • memory_optimize
        • release_memory
        • RoundRobin
      • fluid.unique_name
        • generate
        • guard
        • switch
    • 环境变量FLAGS
      • cudnn
      • 数值计算
      • 调试
      • 设备管理
      • 分布式
      • 执行器
      • 存储管理
      • 其他
    • FAQ
      • 安装与编译
      • 网络搭建及训练
      • 预测引擎
    暂无相关搜索结果！

      本文档使用 BookStack 构建

      展开/收起文章目录

      分享，让知识传承更久远

      文章二维码

      手机扫一扫，轻松掌上读

      文档下载

      • 普通下载
      • 下载码下载(免登录无限下载)
      你与大神的距离，只差一个APP
      APP下载
      请下载您需要的格式的文档，随时随地，享受汲取知识的乐趣！
      PDF文档 EPUB文档 MOBI文档
      温馨提示 每天每在网站阅读学习一分钟时长可下载一本电子书，每天连续签到可增加阅读时长
      下载码方式下载：免费、免登录、无限制。 免费获取下载码

      微信小程序阅读

      BookChat 微信小程序阅读
      您与他人的薪资差距，只差一个随时随地学习的小程序

      书签列表

        阅读记录

        阅读进度: 0.00% ( 0/0 ) 重置阅读进度