循环神经网络 RNN

  1. 循环神经网络recurrent neural network:RNN ：用于处理序列数据 6.循环神经网络 - 图1 的神经网络，其中 6.循环神经网络 - 图2 表示第 6.循环神经网络 - 图3 个样本。6.循环神经网络 - 图4 是一个序列 ，序列的长度可以是固定的、也可以是变化的。

    • 固定的序列长度：对每个样本 6.循环神经网络 - 图5 ，其序列长度都是常数 6.循环神经网络 - 图6 。
    • 可变的序列长度：样本 6.循环神经网络 - 图7 的序列长度 6.循环神经网络 - 图8 可能不等于样本 6.循环神经网络 - 图9 的序列长度 6.循环神经网络 - 图10 。

  2. 循环神经网络是一种共享参数的网络：参数在每个时间点上共享。

    传统的前馈神经网络在每个时间点上分配一个独立的参数，因此网络需要学习每个时间点上的权重。而循环神经网络在每个时间点上共享相同的权重。

  3. 循环网络中使用参数共享的前提是：相同参数可以用于不同的时间步。即：前一个时间步和后一个时间步之间的关系与时刻 6.循环神经网络 - 图11 无关。

  4. 就像几乎所有函数都可以被认为是前馈神经网络，几乎任何涉及循环的函数都可以被认为是循环神经网络。