GRUCell
class paddle.nn.GRUCell
( input_size, hidden_size, weight_ih_attr\=None, weight_hh_attr\=None, bias_ih_attr\=None, bias_hh_attr\=None, name\=None ) [源代码]
门控循环单元
该OP是门控循环单元(GRUCell),根据当前时刻输入x(t)和上一时刻状态h(t-1)计算当前时刻输出y(t)并更新状态h(t)。
状态更新公式如下:
其中:
-
:sigmoid激活函数。
详情请参考论文 :An Empirical Exploration of Recurrent Network Architectures。
参数:
input_size (int) - 输入的大小。
hidden_size (int) - 隐藏状态大小。
weight_ih_attr (ParamAttr,可选) - weight_ih的参数。默认为None。
weight_hh_attr (ParamAttr,可选) - weight_hh的参数。默认为None。
bias_ih_attr (ParamAttr,可选) - bias_ih的参数。默认为None。
bias_hh_attr (ParamAttr,可选) - bias_hh的参数。默认为None。
name (str, 可选): OP的名字。默认为None。详情请参考 Name。
变量:
weight_ih (Parameter) - input到hidden的变换矩阵的权重。形状为(3 * hidden_size, input_size)。对应公式中的
。
weight_hh (Parameter) - hidden到hidden的变换矩阵的权重。形状为(3 * hidden_size, hidden_size)。对应公式中的
。
bias_ih (Parameter) - input到hidden的变换矩阵的偏置。形状为(3 * hidden_size, )。对应公式中的
。
bias_hh (Parameter) - hidden到hidden的变换矩阵的偏置。形状为(3 * hidden_size, )。对应公式中的
。
输入:
inputs (Tensor) - 输入。形状为[batch_size, input_size],对应公式中的
。
states (Tensor,可选) - 上一轮的隐藏状态。对应公式中的
。当state为None的时候,初始状态为全0矩阵。默认为None。
输出:
outputs (Tensor) - 输出。形状为[batch_size, hidden_size],对应公式中的
。
new_states (Tensor) - 新一轮的隐藏状态。形状为[batch_size, hidden_size],对应公式中的 。
注解
所有的变换矩阵的权重和偏置都默认初始化为Uniform(-std, std),其中std = 。对于参数初始化,详情请参考 ParamAttr。
代码示例:
import paddle
x = paddle.randn((4, 16))
prev_h = paddle.randn((4, 32))
cell = paddle.nn.GRUCell(16, 32)
y, h = cell(x, prev_h)
print(y.shape)
print(h.shape)
#[4,32]
#[4,32]