概述 前提条件 单GPU训练 分布式训练 模型并行 数据并行 PRC通信方式 NCCL2通信方式（Collective） 概述 从前几节的训练看，无论是房价预测任务还是MNIST手写字数字识别任务，训练好一个模型不会超过十分钟，主要原因是我们所使用的神经网络比较简单。但实际应用时，常会遇到更加复杂的机器学习或深度学习任务，需要运算...

一台机器上多设备 只需添加 GPU 卡到单个机器，您就可以获得主要的性能提升。 事实上，在很多情况下，这就足够了。 你根本不需要使用多台机器。 例如，通常在单台机器上使用 8 个 GPU，而不是在多台机器上使用 16 个 GPU（由于多机器设置中的网络通信带来的额外延迟），可以同样快地训练神经网络。 在本节中，我们将介绍如何设置您的环境，以便 Tens...

使用Paddle-TensorRT库预测 内容 编译Paddle-TRT预测库 Paddle-TRT接口使用 Paddle-TRT样例编译测试 Paddle-TRT INT8使用 Paddle-TRT子图运行原理 使用Paddle-TensorRT库预测 NVIDIA TensorRT 是一个高性能的深度学习预测库，可为深度学习推理应用程...

Tensor Tensor 飞桨（PaddlePaddle，以下简称Paddle）和其他框架一样，使用Tensor来表示数据。 在神经网络中传递的数据都是Tensor。Tensor可以简单理解成一个多维数组，一般而言可以有任意多的维度。 不同的Tensor可以具有自己的数据类型和形状，同一Tensor中每个元素的数据类型是一样的，Tensor的形状...

Tensor Tensor 飞桨（PaddlePaddle，以下简称Paddle）和其他框架一样，使用Tensor来表示数据。 在神经网络中传递的数据都是Tensor。Tensor可以简单理解成一个多维数组，一般而言可以有任意多的维度。 不同的Tensor可以具有自己的数据类型和形状，同一Tensor中每个元素的数据类型是一样的，Tensor的形状...

三、数据集增强 3.1 线性变换 3.2 输入噪声注入 三、数据集增强 提高模型泛化能力的一个最直接的方法是采用更多的数据来训练。但是通常在现实任务中，我们拥有的数据量有限。 解决该问题的一种方法是：创建一些虚拟的数据用于训练。 数据集增强仅仅用于模型的训练，而不是用于模型的预测。即：不能对测试集、验证集执行数据集增强。 当比较机器学...

时间上的静态展开 static_rnn() 函数通过链接单元来创建一个展开的 RNN 网络。 下面的代码创建了与上一个完全相同的模型： X0 = tf . placeholder ( tf . float32 , [ None , n_inputs ]) X1 = tf . placeholder ( tf . float32 , ...

MaxPool2D 参数 形状 返回 代码示例 使用本API的教程文档 MaxPool2D paddle.nn. MaxPool2D ( kernel_size, stride=None, padding=0, ceil_mode=False, return_mask=False, data_format=’NCHW’, name=None...

在 CIFAR10 小型图像数据集上训练一个深度卷积神经网络。 在 CIFAR10 小型图像数据集上训练一个深度卷积神经网络。 在 25 轮迭代后 验证集准确率达到 75%，在 50 轮后达到 79%。(尽管目前仍然欠拟合)。 from __future__ import print_function import keras fr...

共享变量 如果要在图形的各个组件之间共享一个变量，一个简单的选项是首先创建它，然后将其作为参数传递给需要它的函数。 例如，假设要使用所有 ReLU 的共享阈值变量来控制 ReLU 阈值（当前硬编码为 0）。 您可以先创建该变量，然后将其传递给relu() 函数： reset_graph () def relu ( X , threshold...