fc

paddle.static.nn.fc ( x, size, num_flatten_dims\=1, weight_attr\=None, bias_attr\=None, activation\=None, name\=None ) [源代码]

该OP将在神经网络中构建一个全连接层。其输入可以是一个Tensor或多个Tensor组成的list（详见参数说明）。该OP会为每个输入Tensor创建一个权重（weight）参数，即一个从每个输入单元到每个输出单元的全连接权重矩阵。 每个输入Tensor和其对应的权重（weight）相乘得到形状为

fc - 图1

输出Tensor，其中

fc - 图2

表示可以为任意个额外的维度。 如果有多个输入Tensor，则多个形状为

fc - 图3

的Tensor计算结果会被累加起来，作为最终输出。如果 bias_attr 非空，则会创建一个偏置（bias）参数，并把它累加到输出Tensor中。 如果 activation 非空，将会在输出结果上应用相应的激活函数。

对于单个输入Tensor ::math`X` ，计算公式为：

fc - 图4

对于多个Tensor，计算公式为：

fc - 图5

其中：

  • fc - 图6

    ：输入Tensor的个数。如果输入是Tensor列表，

    fc - 图7

    等于

    fc - 图8

  • fc - 图9

    ：第i个输入Tensor

  • fc - 图10

    ：对应第i个输入Tensor的权重矩阵

  • bb ：偏置参数

  • ActAct ：activation function (激活函数)

  • OutOut ：输出Tensor

  1. # Case 1, input is a single tensor:
  2. data = [[[0.1, 0.2],
  3.          [0.3, 0.4]]]
  4. x.shape = (1, 2, 2) # 1 is batch_size
  6. out = paddle.static.nn.fc(x=x, size=1, num_flatten_dims=2)
  8. # Get the output:
  9. out.data = [[0.83234344], [0.34936576]]
  10. out.shape = (1, 2, 1)
  12. # Case 2, input is a list of tensor:
  13. x0.data = [[[0.1, 0.2],
  14.             [0.3, 0.4]]]
  15. x0.shape = (1, 2, 2) # 1 is batch_size
  17. x1.data = [[[0.1, 0.2, 0.3]]]
  18. x1.shape = (1, 1, 3)
  20. out = paddle.static.nn.fc(x=[x0, x1], size=2)
  22. # Get the output:
  23. out.data = [[0.18669507, 0.1893476]]
  24. out.shape = (1, 2)

参数

  • x (Tensor|list of Tensor) – 一个多维Tensor或由多个Tensor组成的list，每个输入Tensor的维度至少是2。数据类型可以为float16，float32或float64。

  • size (int) – 全连接层输出单元的数目，即输出Tensor的特征维度。

  • num_flatten_dims (int) – 输入可以接受维度大于2的Tensor。在计算时，输入首先会被扁平化为一个二维矩阵，之后再与权重相乘。参数 num_flatten_dims 决定了输入Tensor扁平化的方式: 前 num_flatten_dimsnum_flatten_dims (包含边界，从1开始数) 个维度会被扁平化为二维矩阵的第一维 (即为矩阵的高), 剩下的 rank(x)−num_flatten_dimsrank(x)−num_flatten_dims 维被扁平化为二维矩阵的第二维 (即矩阵的宽)。 例如， 假设 x 是一个五维的Tensor，其形状为 [2,3,4,5,6][2,3,4,5,6] ， num_flatten_dims = 3时扁平化后的矩阵形状为 [2∗3∗4,5∗6]\=[24,30][2∗3∗4,5∗6]\=[24,30] ，最终输出Tensor的形状为 [2,3,4,size][2,3,4,size] 。默认值为1。

  • weight_attr (ParamAttr, 可选) – 指定权重参数的属性。默认值为None，表示使用默认的权重参数属性，将权重参数初始化为0。具体用法请参见 ParamAttr 。

  • bias_attr (ParamAttr|bool, 可选) – 指定偏置参数的属性。bias_attr 为bool类型且设置为False时，表示不会为该层添加偏置。 bias_attr 如果设置为True或者None，则表示使用默认的偏置参数属性，将偏置参数初始化为0。具体用法请参见 ParamAttr 。默认值为None。

  • activation (str, 可选) – 应用于输出上的激活函数，如tanh、softmax、sigmoid，relu等，支持列表请参考 激活函数 ，默认值为None。

  • name (str，可选) – 具体用法请参见 Name ，一般无需设置，默认值为None。

返回

Tensor，形状为 [batch_size,∗,size][batch_size,∗,size] ，数据类型与输入Tensor相同。

抛出异常

  • ValueErrorValueError - 如果输入Tensor的维度小于2

代码示例

  1. import paddle
  2. paddle.enable_static()
  4. # When input is a single tensor
  5. x = paddle.static.data(name="x", shape=[1, 2, 2], dtype="float32")
  6. # x: [[[0.1 0.2]
  7. #      [0.3 0.4]]]
  8. out = paddle.static.nn.fc(
  9.     x=x,
  10.     size=1,
  11.     num_flatten_dims=2,
  12.     weight_attr=paddle.ParamAttr(initializer=paddle.nn.initializer.Constant(value=0.5)),
  13.     bias_attr=paddle.ParamAttr(initializer=paddle.nn.initializer.Constant(value=1.0)))
  14. # out: [[[1.15]
  15. #        [1.35]]]
  17. # When input is multiple tensors
  18. x0 = paddle.static.data(name="x0", shape=[1, 2, 2], dtype="float32")
  19. # x0: [[[0.1 0.2]
  20. #       [0.3 0.4]]]
  21. x1 = paddle.static.data(name="x1", shape=[1, 1, 3], dtype="float32")
  22. # x1: [[[0.1 0.2 0.3]]]
  23. out = paddle.static.nn.fc(
  24.     x=[x0, x1],
  25.     size=2,
  26.     weight_attr=paddle.ParamAttr(initializer=paddle.nn.initializer.Constant(value=0.5)),
  27.     bias_attr=paddle.ParamAttr(initializer=paddle.nn.initializer.Constant(value=1.0)))
  28. # out: [[1.8 1.8]]