5.1 二维卷积层 5.2 填充和步幅 5.3 多输入通道和多输出通道 5.4 池化层 5.5 卷积神经网络（LeNet） 5.6 深度卷积神经网络（AlexNet） 5.7 使用重复元素的网络（VGG） 5.8 网络中的网络（NiN） 5.9 含并行连结的网络（GoogLeNet） 5.10 批量归一化 5.11 残差网络（ResNet...

5.3 BP神经网络算法 5.3 BP神经网络算法 由上面可以得知：神经网络的学习主要蕴含在权重和阈值中，多层网络使用上面简单感知机的权重调整规则显然不够用了，BP神经网络算法即误差逆传播算法（error BackPropagation）正是为学习多层前馈神经网络而设计，BP神经网络算法是迄今为止最成功的的神经网络学习算法。 一般而言，只需包含...

GNN GNN 一、GNN 二、GCN 三、Fast GCN 四、Semi-Supervised GCN 五、分子指纹GCN 六、GGS-NN 七、PATCHY-SAN 八、GraphSage 九、GAT

十、人工神经网络介绍 十、人工神经网络介绍 鸟类启发我们飞翔，牛蒡植物启发了尼龙绳，大自然也激发了许多其他发明。从逻辑上看，大脑是如何构建智能机器的灵感。这是启发人工神经网络（ANN）的关键思想。然而，尽管飞机受到鸟类的启发，但它们不必拍动翅膀。同样的，ANN 逐渐变得与他们的生物表兄弟有很大的不同。一些研究者甚至争辩说，我们应该完全放弃生物类比（例...

6. 循环神经网络 6. 循环神经网络 与之前介绍的多层感知机和能有效处理空间信息的卷积神经网络不同，循环神经网络是为更好地处理时序信息而设计的。它引入状态变量来存储过去的信息，并用其与当前的输入共同决定当前的输出。 循环神经网络常用于处理序列数据，如一段文字或声音、购物或观影的顺序，甚至是图像中的一行或一列像素。因此，循环神经网络有着极为广泛的实...

神经元的逻辑计算 Warren McCulloch 和 Pitts 提出一个非常简单的生物神经元模型，这后来作为一个人工神经元成为众所周知：它有一个或更多的二进制（ON/OFF）输入和一个二进制输出。当超过一定数量的输入是激活时，人工神经元会激活其输出。McCulloch 和 Pitts 表明，即使用这样一个简化的模型，也有可能建立一个人工神经元网络来计...

6.1 语言模型 6.2 循环神经网络 6.3 语言模型数据集（周杰伦专辑歌词） 6.4 循环神经网络的从零开始实现 6.5 循环神经网络的简洁实现 6.6 通过时间反向传播 6.7 门控循环单元（GRU） 6.8 长短期记忆（LSTM） 6.9 深度循环神经网络 6.10 双向循环神经网络

6.10 双向循环神经网络 小结 6.10 双向循环神经网络 之前介绍的循环神经网络模型都是假设当前时间步是由前面的较早时间步的序列决定的，因此它们都将信息通过隐藏状态从前往后传递。有时候，当前时间步也可能由后面时间步决定。例如，当我们写下一个句子时，可能会根据句子后面的词来修改句子前面的用词。双向循环神经网络通过增加从后往前传递信息的隐藏层来更灵...

6.9 深度循环神经网络 小结 6.9 深度循环神经网络 本章到目前为止介绍的循环神经网络只有一个单向的隐藏层，在深度学习应用里，我们通常会用到含有多个隐藏层的循环神经网络，也称作深度循环神经网络。图6.11演示了一个有 个隐藏层的深度循环神经网络，每个隐藏状态不断传递至当前层的下一时间步和当前时间步的下一层。 图6.11 深度循环神...

卷积神经网络 卷积神经网络 卷积神经网络convolutional neural network:CNN ：是指那些至少在网络的某一层中使用了卷积运算来代替一般的矩阵乘法运算的神经网络。 卷积神经网络专门处理具有类似网格结构的数据的神经网络。如：时间序列是一维网格，图像数据是二维网格。