十、人工神经网络介绍 十、人工神经网络介绍 鸟类启发我们飞翔，牛蒡植物启发了尼龙绳，大自然也激发了许多其他发明。从逻辑上看，大脑是如何构建智能机器的灵感。这是启发人工神经网络（ANN）的关键思想。然而，尽管飞机受到鸟类的启发，但它们不必拍动翅膀。同样的，ANN 逐渐变得与他们的生物表兄弟有很大的不同。一些研究者甚至争辩说，我们应该完全放弃生物类比（例...

6. 循环神经网络 6. 循环神经网络 与之前介绍的多层感知机和能有效处理空间信息的卷积神经网络不同，循环神经网络是为更好地处理时序信息而设计的。它引入状态变量来存储过去的信息，并用其与当前的输入共同决定当前的输出。 循环神经网络常用于处理序列数据，如一段文字或声音、购物或观影的顺序，甚至是图像中的一行或一列像素。因此，循环神经网络有着极为广泛的实...

6.1 语言模型 6.2 循环神经网络 6.3 语言模型数据集（周杰伦专辑歌词） 6.4 循环神经网络的从零开始实现 6.5 循环神经网络的简洁实现 6.6 通过时间反向传播 6.7 门控循环单元（GRU） 6.8 长短期记忆（LSTM） 6.9 深度循环神经网络 6.10 双向循环神经网络

6.10 双向循环神经网络 小结 6.10 双向循环神经网络 之前介绍的循环神经网络模型都是假设当前时间步是由前面的较早时间步的序列决定的，因此它们都将信息通过隐藏状态从前往后传递。有时候，当前时间步也可能由后面时间步决定。例如，当我们写下一个句子时，可能会根据句子后面的词来修改句子前面的用词。双向循环神经网络通过增加从后往前传递信息的隐藏层来更灵...

6.9 深度循环神经网络 小结 6.9 深度循环神经网络 本章到目前为止介绍的循环神经网络只有一个单向的隐藏层，在深度学习应用里，我们通常会用到含有多个隐藏层的循环神经网络，也称作深度循环神经网络。图6.11演示了一个有 个隐藏层的深度循环神经网络，每个隐藏状态不断传递至当前层的下一时间步和当前时间步的下一层。 图6.11 深度循环神...

循环神经网络 RNN 循环神经网络 RNN 循环神经网络recurrent neural network:RNN ：用于处理序列数据 的神经网络，其中 表示第 个样本。 是一个序列 ，序列的长度可以是固定的、也可以是变化的。 固定的序列长度：对每个样本 ，其序列长度都是常数 。 可变的序列长度：样本 的序列长度 可能不等于样本 ...

5.5 卷积神经网络（LeNet） 5.5.1 LeNet模型 5.5.2 获取数据和训练模型 小结 参考文献 5.5 卷积神经网络（LeNet） 在3.9节（多层感知机的从零开始实现）里我们构造了一个含单隐藏层的多层感知机模型来对Fashion-MNIST数据集中的图像进行分类。每张图像高和宽均是28像素。我们将图像中的像素逐行展开，得到长...

十一、训练深层神经网络 十一、训练深层神经网络 第 10 章介绍了人工神经网络，并训练了我们的第一个深度神经网络。 但它是一个非常浅的 DNN，只有两个隐藏层。 如果你需要解决非常复杂的问题，例如检测高分辨率图像中的数百种类型的对象，该怎么办？ 你可能需要训练更深的 DNN，也许有 10 层，每层包含数百个神经元，通过数十万个连接来连接。 这不会是闲...

5. 卷积神经网络 5. 卷积神经网络 本章将介绍卷积神经网络。它是近年来深度学习能在计算机视觉领域取得突破性成果的基石。它也逐渐在被其他诸如自然语言处理、推荐系统和语音识别等领域广泛使用。我们将先描述卷积神经网络中卷积层和池化层的工作原理，并解释填充、步幅、输入通道和输出通道的含义。在掌握了这些基础知识以后，我们将探究数个具有代表性的深度卷积神经网...

卷积神经网络 卷积神经网络 卷积神经网络convolutional neural network:CNN ：是指那些至少在网络的某一层中使用了卷积运算来代替一般的矩阵乘法运算的神经网络。 卷积神经网络专门处理具有类似网格结构的数据的神经网络。如：时间序列是一维网格，图像数据是二维网格。