LayerNorm

• class paddle.fluid.dygraph.LayerNorm(name_scope, scale=True, shift=True, begin_norm_axis=1, epsilon=1e-05, param_attr=None, bias_attr=None, act=None)[源代码]

该接口用于构建 LayerNorm 类的一个可调用对象，具体用法参照 代码示例 。其中实现了层归一化层（Layer Normalization Layer）的功能，其可以应用于小批量输入数据。更多详情请参考：Layer Normalization

计算公式如下

• : 该层神经元的向量表示
• : 层中隐藏神经元个数
• : 添加较小的值到方差中以防止除零
• : 可训练的比例参数
• : 可训练的偏差参数

• 参数：
• • name_scope (str) – 该类的名称。
  • scale (bool, 可选) - 指明是否在归一化后学习自适应增益 g 。默认值：True。
  • shift (bool, 可选) - 指明是否在归一化后学习自适应偏差 b 。默认值：True。
  • begin_norm_axis (int, 可选) - 指明归一化将沿着 begin_norm_axis 到 rank（input） 的维度执行。默认值：1。
  • epsilon (float, 可选) - 指明在计算过程中是否添加较小的值到方差中以防止除零。默认值：1e-05。
  • param_attr (ParamAttr, 可选) - 指定权重参数属性的对象。默认值为None，表示使用默认的权重参数属性。具体用法请参见 ParamAttr 。
  • bias_attr (ParamAttr, 可选) - 指定偏置参数属性的对象。默认值为None，表示使用默认的偏置参数属性。具体用法请参见 ParamAttr 。
  • act (str, 可选) - 应用于输出上的激活函数，如tanh、softmax、sigmoid，relu等，支持列表请参考 激活函数 ，默认值为None。

返回：无

代码示例

import paddle.fluid as fluid
from paddle.fluid.dygraph.base import to_variable
import numpy
 
x = numpy.random.random((3, 32, 32)).astype('float32')
with fluid.dygraph.guard():
    x = to_variable(x)
    layernorm = fluid.LayerNorm('LayerNorm', begin_norm_axis=1)
    ret = layernorm(x)