09.01 Theano 简介及其安装 09.02 Theano 基础 09.03 Theano 在 Windows 上的配置 09.04 Theano 符号图结构 09.05 Theano 配置和编译模式 09.06 Theano 条件语句 09.07 Theano 循环：scan（详解） 09.08 Theano 实例：线性回归 09....

Deeplearning Algorithms tutorial 决策树 应用领域 优缺点 Deeplearning Algorithms tutorial 谷歌的人工智能位于全球前列，在图像识别、语音识别、无人驾驶等技术上都已经落地。而百度实质意义上扛起了国内的人工智能的大旗，覆盖无人驾驶、智能助手、图像识别等许多层面。苹果业已开始全面拥抱机...

模型训练 模型训练 首先需要定义好训练的参数，包括是否使用GPU、设置损失函数、选择优化器以及学习率等。 在本次实验中，由于数据较为简单，我们选择在CPU上训练，优化器使用Adam，学习率设置为0.01，一共训练5个epoch。 然而，针对推荐算法的网络，如何设计损失函数呢？在CV和NLP章节中我们了解，分类可以用交叉熵损失函数，损失函数的大小可以...

CNN 架构 ​典型的 CNN 体系结构有一些卷积层（每一个通常跟着一个 ReLU 层），然后是一个池化层，然后是另外几个卷积层（+ ReLU），然后是另一个池化层，等等。 随着网络的进展，图像变得越来越小，但是由于卷积层的缘故，图像通常也会越来越深（即更多的特征映射）（见图 13-9）。 在堆栈的顶部，添加由几个全连接层（+ ReLU）组成的常规前馈神...

SimpleRNNCell SimpleRNNCell class paddle.nn. SimpleRNNCell ( input_size, hidden_size, activation=’tanh’, weight_ih_attr=None, weight_hh_attr=None, bias_ih_attr=None, bias_hh_at...

3.15 数值稳定性和模型初始化 3.15.1 衰减和爆炸 3.15.2 随机初始化模型参数 3.15.2.1 PyTorch的默认随机初始化 3.15.2.2 Xavier随机初始化 小结 参考文献 3.15 数值稳定性和模型初始化 理解了正向传播与反向传播以后，我们来讨论一下深度学习模型的数值稳定性问题以及模型参数的初始化方法。深度模...

通过梯度下降法学习参数 练习 通过梯度下降法学习参数 我们已经设计出了一个神经网络结构，现在面临的问题是，它应该如何学习识别数字呢？首先，我们需要一个待学习的数据集——即所谓的训练数据集。我们下面会使用MNIST数据集 ，其中包含了大量扫描得到的手写数字图像以及它们对应的数字。MNIST 数据集是由NIST （the United States' ...

自动微分机制介绍 一、背景 二、如何使用飞桨的自动微分机制 三、飞桨中自动微分相关所有的使用方法说明 四、飞桨自动微分运行机制 五、总结 自动微分机制介绍 PaddlePaddle的神经网络核心是自动微分，本篇文章主要为你介绍如何使用飞桨的自动微分，以及飞桨的自动微分机制，帮助你更好的使用飞桨进行训练。 一、背景 神经网络是由节点和节...

6.7. 门控循环单元（GRU） 6.7.1. 门控循环单元 6.7.1.1. 重置门和更新门 6.7.1.2. 候选隐藏状态 6.7.1.3. 隐藏状态 6.7.2. 读取数据集 6.7.3. 从零开始实现 6.7.3.1. 初始化模型参数 6.7.3.2. 定义模型 6.7.3.3. 训练模型并创作歌词 6.7.4. 简洁实现 6.7...

八、优化策略和元算法 8.1 坐标下降 8.2 Polyak 平均 8.3 贪心监督预训练 8.4 选择有助于优化的模型 8.5 连续方法 八、优化策略和元算法 有些优化技术并不是真正的算法，而是一个模板：它可以产生特定的算法。 8.1 坐标下降 最小化 可以采取如下的步骤： 先相对于单一变量 最小化。 然后相对于另一个变...