用 numpy 和 scipy 创建扩展 无参数神经网络层示例 参数化示例 用 numpy 和 scipy 创建扩展 作者 ：Adam Paszke 修订者 : Adam Dziedzic 译者：Foxerlee 、cangyunye 校验：Foxerlee 、FontTian 在本教程中，我们需要完成两个任务： 创建...

七、dropout 7.1 dropout 与 bagging 7.2 模型推断 7.3 示例 7.4 性质 7.5 dropout 与正则化 七、dropout dropout ：在前向传播过程中，对网络中的每个隐层，每个隐单元都以一定的概率 被删除，最后得到一个规模更小的网络。在反向传播过程中，仅仅针对该小网络进行权重更新。 所...

6.7 门控循环单元（GRU） 6.7.1 门控循环单元 6.7.1.1 重置门和更新门 6.7.1.2 候选隐藏状态 6.7.1.3 隐藏状态 6.7.2 读取数据集 6.7.3 从零开始实现 6.7.3.1 初始化模型参数 6.7.3.2 定义模型 6.7.3.3 训练模型并创作歌词 6.7.4 简洁实现 小结 参考文献 ...

3.3 线性回归的简洁实现 3.3.1 生成数据集 3.3.2 读取数据 3.3.3 定义模型 3.3.4 初始化模型参数 3.3.5 定义损失函数 3.3.6 定义优化算法 3.3.7 训练模型 小结 3.3 线性回归的简洁实现 随着深度学习框架的发展，开发深度学习应用变得越来越便利。实践中，我们通常可以用比上一节更简洁的代码来实现...

练习 使用 He 初始化随机选择权重，是否可以将所有权重初始化为相同的值？ 可以将偏置初始化为 0 吗？ 说出 ELU 激活功能与 ReLU 相比的三个优点。 在哪些情况下，您想要使用以下每个激活函数：ELU，leaky ReLU（及其变体），ReLU，tanh，logistic 以及 softmax？ 使用MomentumOptimizer 时，如果...

Deeplearning Algorithms tutorial 多层感知器(Multilayer Perceptron) 应用示例 Deeplearning Algorithms tutorial 谷歌的人工智能位于全球前列，在图像识别、语音识别、无人驾驶等技术上都已经落地。而百度实质意义上扛起了国内的人工智能的大旗，覆盖无人驾驶、智能助手、图...

通过正则化避免过拟合 有四个参数，我可以拟合一个大象，五个我可以让他摆动他的象鼻。 —— John von Neumann,cited by Enrico Fermi in Nature 427 深度神经网络通常具有数以万计的参数，有时甚至是数百万。 有了这么多的参数，网络拥有难以置信的自由度，可以适应各种复杂的数据集。 但是这个很大的灵活性也意味着...

二、FNN 2.1 模型 2.1.1 FNN 2.1.2 SNN 2.2 实验 二、FNN 传统的 CTR 预估模型大多数采用线性模型。线性模型的优点是易于实现，缺点是：模型表达能力较差，无法学习特征之间的相互作用 interaction 。 非线性模型（如：FM,GBDT ）能够利用不同的组合特征，因此能够改善模型的表达能力。但是这...

Deeplearning Algorithms tutorial 关联规则 算法背景 应用领域 优缺点 Deeplearning Algorithms tutorial 谷歌的人工智能位于全球前列，在图像识别、语音识别、无人驾驶等技术上都已经落地。而百度实质意义上扛起了国内的人工智能的大旗，覆盖无人驾驶、智能助手、图像识别等许多层面。苹果业已...

训练序列分类器 我们训练一个 RNN 来分类 MNIST 图像。 卷积神经网络将更适合于图像分类（见第 13 章），但这是一个你已经熟悉的简单例子。 我们将把每个图像视为 28 行 28 像素的序列（因为每个MNIST图像是28×28 像素）。 我们将使用 150 个循环神经元的单元，再加上一个全连接层，其中包含连接到上一个时间步的输出的 10 个神经元...