栈式自编码器（SAE） 就像我们讨论过的其他神经网络一样，自编码器可以有多个隐藏层。 在这种情况下，它们被称为栈式自编码器（或深度自编码器）。 添加更多层有助于自编码器了解更复杂的编码。 但是，必须注意不要让自编码器功能太强大。 设想一个编码器非常强大，只需学习将每个输入映射到一个任意数字（并且解码器学习反向映射）即可。 很明显，这样的自编码器将完美地重...

6.6. 通过时间反向传播 6.6.1. 定义模型 6.6.2. 模型计算图 6.6.3. 方法 6.6.4. 小结 6.6.5. 练习 6.6. 通过时间反向传播 如果读者做了上一节的练习，就会发现，如果不裁剪梯度，模型将无法正常训练。为了深刻理解这一现象，本节将介绍循环神经网络中梯度的计算和存储方法，即通过时间反向传播（back-pro...

3. 深度学习基础 3. 深度学习基础 从本章开始，我们将探索深度学习的奥秘。作为机器学习的一类，深度学习通常基于神经网络模型逐级表示越来越抽象的概念或模式。我们先从线性回归和 softmax 回归这两种单层神经网络入手，简要介绍机器学习中的基本概念。然后，我们由单层神经网络延伸到多层神经网络，并通过多层感知机引入深度学习模型。在观察和了解了模型的过...

第六章 深度学习 卷积网络简介 实践中的卷积神经网络 卷积网络的代码 问题 图像识别领域中的近期进展 其他的深度学习模型 神经网络的未来 第六章 深度学习 在上一章，我们学习了深度神经网络通常比浅层神经网络更加难以训练。我们有理由相信，若是可以训练深度网络，则能够获得比浅层网络更加强大的能力，但是现实很残酷。从上一章我们可以看到很多不利...

HyperDL-Tutorial 目录 HyperDL-Tutorial HyperDL-Tutorial 是一个深度学习相关的系列文章，总结了我们在深度学习实践中的一些经验。 目录 常见深度学习框架 基础网络 神经网络的优化 模型之间的转换 适用于移动端的框架 神经网络的设计 神经网络的适用场景 基础网络的训练 相关...

第二章 反向传播算法如何工作的？ 热身：神经网络中使用矩阵快速计算输出的观点 关于代价函数的两个假设 Hadamard 乘积 反向传播的四个基本方程 问题 四个基本方程的证明（可选） 练习 反向传播算法 练习 代码 问题 在哪种层面上，反向传播是快速的算法？ 反向传播：大视野 第二章 反向传播算法如何工作的？ 在上一章，我们...

十二、设备和服务器上的分布式 TensorFlow 十二、设备和服务器上的分布式 TensorFlow 在第 11 章，我们讨论了几种可以明显加速训练的技术：更好的权重初始化，批量标准化，复杂的优化器等等。 但是，即使采用了所有这些技术，在具有单个 CPU 的单台机器上训练大型神经网络可能需要几天甚至几周的时间。 在本章中，我们将看到如何使用 Te...

记忆单元 由于时间t 的循环神经元的输出，是由所有先前时间步骤计算出来的的函数，你可以说它有一种记忆形式。一个神经网络的一部分，跨越时间步长保留一些状态，称为存储单元（或简称为单元）。单个循环神经元或循环神经元层是非常基本的单元，但本章后面我们将介绍一些更为复杂和强大的单元类型。 一般情况下，时间步t 处的单元状态，记为 （h 代表“隐藏”），是该时间...

PyTorch 深度学习: 60 分钟极速入门教程 PyTorch 深度学习: 60 分钟极速入门教程 译者：@小王子 校对者：@李子文 Author : Soumith Chintala 本教程的目标: 更高层次地理解 PyTorch 的 Tensor (张量) 库以及神经网络. 学会训练一个小的神经网络用来对图像进行分类 ...

Deeplearning Algorithms tutorial 受限玻尔兹曼机(Restricted Boltzmann Machine) 应用示例 Deeplearning Algorithms tutorial 谷歌的人工智能位于全球前列，在图像识别、语音识别、无人驾驶等技术上都已经落地。而百度实质意义上扛起了国内的人工智能的大旗，覆盖无人...