binary_cross_entropy_with_logits
paddle.nn.functional.binary_cross_entropy_with_logits
( logit, label, weight=None, reduction=’mean’, pos_weight=None, name=None ) [源代码]
该OP用于计算输入 logit 和标签 label 间的 binary cross entropy with logits loss 损失。
该OP结合了 sigmoid 操作和 api_nn_loss_BCELoss 操作。同时,我们也可以认为该OP是 sigmoid_cross_entrop_with_logits
和一些 reduce 操作的组合。
在每个类别独立的分类任务中,该OP可以计算按元素的概率误差。可以将其视为预测数据点的标签,其中标签不是互斥的。例如,一篇新闻文章可以同时关于政治,科技,体育或者同时不包含这些内容。
首先,该OP可通过下式计算损失函数:
其中
, 代入上方计算公式中:
为了计算稳定性,防止当
时,
溢出,loss将采用以下公式计算:
然后,当 weight
or pos_weight
不为None的时候,该算子会在输出Out上乘以相应的权重。张量 weight
给Batch中的每一条数据赋予不同权重,张量 pos_weight
给每一类的正例添加相应的权重。
最后,该算子会添加 reduce 操作到前面的输出Out上。当 reduction 为 none 时,直接返回最原始的 Out 结果。当 reduction 为 mean 时,返回输出的均值
。当 reduction 为 sum 时,返回输出的求和
。
参数
logit (Tensor) -
, 其中N是batch_size, * 是任意其他维度。输入数据
logit
一般是线性层的输出,不需要经过sigmoid
层。数据类型是float32、float64。label (Tensor) -
,标签
label
的维度、数据类型与输入logit
相同。weight (Tensor,可选) - 手动指定每个batch二值交叉熵的权重,如果指定的话,维度必须是一个batch的数据的维度。数据类型是float32, float64。默认值是:None。
reduction (str,可选) - 指定应用于输出结果的计算方式,可选值有:
'none'
,'mean'
,'sum'
。默认为'mean'
,计算 BCELoss 的均值;设置为'sum'
时,计算 BCELoss 的总和;设置为'none'
时,则返回原始loss。pos_weight (Tensor,可选) - 手动指定正类的权重,必须是与类别数相等长度的向量。数据类型是float32, float64。默认值是:None。
name (str,可选) - 操作的名称(可选,默认值为None)。更多信息请参见 Name 。
返回
Tensor,输出的Tensor。如果
reduction
是'none'
, 则输出的维度为, 与输入
input
的形状相同。如果reduction
是'mean'
或'sum'
, 则输出的维度为。
代码示例
import paddle
logit = paddle.to_tensor([5.0, 1.0, 3.0], dtype="float32")
label = paddle.to_tensor([1.0, 0.0, 1.0], dtype="float32")
output = paddle.nn.functional.binary_cross_entropy_with_logits(logit, label)
print(output) # [0.45618808]