NLLLoss

class paddle.fluid.dygraph.NLLLoss(weight=None, reduction=’mean’, ignore_index=-100)[源代码]

该OP计算输入input和标签label间的 negative log likelihood loss 损失 ,可用于训练一个 n 类分类器。

如果提供 weight 参数的话,它是一个 1-D 的tensor, 里面的值对应类别的权重。当你的训练集样本 不均衡的话,使用这个参数是非常有用的。

该损失函数的数学计算公式如下:

当 reduction 设置为 none 时,损失函数的数学计算公式为:

NLLLoss - 图1

其中 N 表示 batch_size 。如果 reduction 的值不是 none (默认为 mean),那么此时损失函数 的数学计算公式为:

NLLLoss - 图2

参数

  • input (Variable): - 输入 Tensor, 其形状为

    NLLLoss - 图3

    , 其中 C 为类别数。但是对于多维度的情形下,它的形状为

    NLLLoss - 图4

    。数据类型为float32或float64。

  • label (Variable): - 输入input对应的标签值。其形状为

    NLLLoss - 图5

    或者

    NLLLoss - 图6

    , 数据类型为int64。

  • weight (Variable, 可选): - 手动指定每个类别的权重。其默认为 None 。如果提供该参数的话,长度必须为 num_classes 。数据类型为float32或float64。
  • reduction (string, 可选): - 指定应用于输出结果的计算方式,可选值有: none, mean, sum 。默认为 mean ,计算 mini-batch loss均值。设置为 sum 时,计算 mini-batch loss的总和。设置为 none 时,则返回loss Tensor。数据类型为string。
  • ignore_index (int64, 可选): - 指定一个忽略的标签值,此标签值不参与计算。默认值为-100。数据类型为int64。

返回

返回存储表示 negative log likihood loss 的损失值。

返回类型

Variable

代码示例

  1. # declarative mode
  2. import paddle.fluid as fluid
  3. import numpy as np
  4. import paddle
  5. input_np = np.random.random(size=(10, 10)).astype(np.float32)
  6. label_np = np.random.randint(0, 10, size=(10,)).astype(np.int64)
  7. prog = fluid.Program()
  8. startup_prog = fluid.Program()
  9. place = fluid.CPUPlace()
  10. with fluid.program_guard(prog, startup_prog):
  11. input = fluid.data(name='input', shape=[10, 10], dtype='float32')
  12. label = fluid.data(name='label', shape=[10], dtype='int64')
  13. nll_loss = fluid.dygraph.NLLLoss()
  14. res = nll_loss(input, label)
  15. exe = fluid.Executor(place)
  16. static_result = exe.run(
  17. prog,
  18. feed={"input": input_np,
  19. "label": label_np},
  20. fetch_list=[res])
  21. print(static_result)
  22. # imperative mode
  23. import paddle.fluid.dygraph as dg
  24. with dg.guard(place) as g:
  25. input = dg.to_variable(input_np)
  26. label = dg.to_variable(label_np)
  27. output = nll_loss(input, label)
  28. print(output.numpy())