DeformConv2D

class paddle.vision.ops.DeformConv2D ( in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, weight_attr=None, bias_attr=None ) [源代码]

deform_conv2d 对输入4-D Tensor计算2-D可变形卷积。给定输入Tensor x,输出Tensor y,可变形卷积运算如下所示:

可形变卷积v2(mask != None):

DeformConv2D - 图1

可形变卷积v1(mask = None):

DeformConv2D - 图2

其中

DeformConv2D - 图3

DeformConv2D - 图4

分别为第k个位置的可学习偏移和调制标量。在deformable conv v1中

DeformConv2D - 图5

为1.

具体细节可以参考论文:<<Deformable ConvNets v2: More Deformable, Better Results>><<Deformable Convolutional Networks>>

示例

输入:

input 形状:

DeformConv2D - 图6

卷积核形状:

DeformConv2D - 图7

offset 形状:

DeformConv2D - 图8

mask 形状:

DeformConv2D - 图9

输出:

输出形状:

DeformConv2D - 图10

其中

DeformConv2D - 图11

参数:

  • in_channels (int) - 输入图像的通道数。

  • out_channels (int) - 由卷积操作产生的输出的通道数。

  • kernel_size (int|list|tuple) - 卷积核大小。可以为单个整数或包含两个整数的元组或列表,分别表示卷积核的高和宽。如果为单个整数,表示卷积核的高和宽都等于该整数。

  • stride (int|list|tuple,可选) - 步长大小。可以为单个整数或包含两个整数的元组或列表,分别表示卷积沿着高和宽的步长。如果为单个整数,表示沿着高和宽的步长都等于该整数。默认值:1。

  • padding (int|list|tuple,可选) - 填充大小。卷积核操作填充大小。如果它是一个列表或元组,则必须包含两个整型数:(padding_height,padding_width)。若为一个整数,padding_height = padding_width = padding。默认值:0。

  • dilation (int|list|tuple,可选) - 空洞大小。可以为单个整数或包含两个整数的元组或列表,分别表示卷积核中的元素沿着高和宽的空洞。如果为单个整数,表示高和宽的空洞都等于该整数。默认值:1。

  • groups (int,可选) - 二维卷积层的组数。根据Alex Krizhevsky的深度卷积神经网络(CNN)论文中的成组卷积:当group=n,输入和卷积核分别根据通道数量平均分为n组,第一组卷积核和第一组输入进行卷积计算,第二组卷积核和第二组输入进行卷积计算,……,第n组卷积核和第n组输入进行卷积计算。默认值:1。

  • weight_attr (ParamAttr,可选) - 指定权重参数属性的对象。默认值为None,表示使用默认的权重参数属性。具体用法请参见 ParamAttr

  • bias_attr (ParamAttr|bool,可选)- 指定偏置参数属性的对象。若 bias_attr 为bool类型,只支持为False,表示没有偏置参数。默认值为None,表示使用默认的偏置参数属性。具体用法请参见 ParamAttr

形状:

  • x:

    DeformConv2D - 图12

  • offset:

    DeformConv2D - 图13

  • mask:

    DeformConv2D - 图14

  • 输出:

    DeformConv2D - 图15

其中:

DeformConv2D - 图16

代码示例

  1. #deformable conv v2:
  2. import paddle
  3. input = paddle.rand((8, 1, 28, 28))
  4. kh, kw = 3, 3
  5. # offset shape should be [bs, 2 * kh * kw, out_h, out_w]
  6. # mask shape should be [bs, hw * hw, out_h, out_w]
  7. # In this case, for an input of 28, stride of 1
  8. # and kernel size of 3, without padding, the output size is 26
  9. offset = paddle.rand((8, 2 * kh * kw, 26, 26))
  10. mask = paddle.rand((8, kh * kw, 26, 26))
  11. deform_conv = paddle.vision.ops.DeformConv2D(
  12. in_channels=1,
  13. out_channels=16,
  14. kernel_size=[kh, kw])
  15. out = deform_conv(input, offset, mask)
  16. print(out.shape)
  17. # returns
  18. [8, 16, 26, 26]
  19. #deformable conv v1:
  20. import paddle
  21. input = paddle.rand((8, 1, 28, 28))
  22. kh, kw = 3, 3
  23. # offset shape should be [bs, 2 * kh * kw, out_h, out_w]
  24. # mask shape should be [bs, hw * hw, out_h, out_w]
  25. # In this case, for an input of 28, stride of 1
  26. # and kernel size of 3, without padding, the output size is 26
  27. offset = paddle.rand((8, 2 * kh * kw, 26, 26))
  28. deform_conv = paddle.vision.ops.DeformConv2D(
  29. in_channels=1,
  30. out_channels=16,
  31. kernel_size=[kh, kw])
  32. out = deform_conv(input, offset)
  33. print(out.shape)
  34. # returns
  35. [8, 16, 26, 26]