spectral_norm

注意：该API仅支持【静态图】模式

  • paddle.fluid.layers.spectral_norm(weight, dim=0, power_iters=1, eps=1e-12, name=None)[源代码]

Spectral Normalization Layer

该OP用于计算了fc、conv1d、conv2d、conv3d层的权重参数的谱正则值，输入权重参数应分别为2-D, 3-D, 4-D, 5-D张量，输出张量与输入张量shape相同。谱特征值计算方式如下。

步骤1：生成形状为[H]的向量U,以及形状为[W]的向量V,其中H是输入权重张量的第 dim 个维度，W是剩余维度的乘积。

步骤2： power_iters 应该是一个正整数，用U和V迭代计算 power_iters 轮，迭代步骤如下。

spectral_norm - 图1

步骤3：计算

spectral_norm - 图2 并特征值值归一化。

spectral_norm - 图3

可参考: Spectral Normalization

  • 参数：
    • weight (Variable) - spectral_norm算子的输入权重张量，可以是2-D, 3-D, 4-D, 5-D Tensor，它是fc、conv1d、conv2d、conv3d层的权重，数据类型为float32或float64。
    • dim (int) - 将输入（weight）重塑为矩阵之前应排列到第一个的维度索引，如果input（weight）是fc层的权重，则应设置为0；如果input（weight）是conv层的权重，则应设置为1，默认为0。
    • power_iters (int) - 将用于计算spectral norm的功率迭代次数，默认值1
    • eps (float) - epsilon用于保证计算规范中的数值稳定性，分母会加上 eps 防止除零，默认1e-12
    • name (str，可选) – 具体用法请参见 Name ，一般无需设置。默认值：None。

返回：Variable(Tensor) 谱正则化后权重张量，维度与输入 weight 一致。

返回类型：变量(Variable)，数据类型与输入 weight 一致。

代码示例：

  1. import paddle.fluid as fluid
  2.  
  3. weight = fluid.data(name='weight', shape=[2, 8, 32, 32], dtype='float32')
  4. x = fluid.layers.spectral_norm(weight=weight, dim=1, power_iters=2)