Keras 中的自定义损失函数以惩罚假阴性

Posted 2023-03-28

【中文标题】Keras 中的自定义损失函数以惩罚假阴性

【英文标题】：Custom loss function in Keras to penalize false negatives

【发布时间】：2019-03-12 17:59:24

【问题描述】：

我正在研究一个医学数据集，我试图尽可能减少假阴性。对我来说“实际上没有疾病时没有疾病”的预测对我来说是可以的，但“实际上没有疾病时没有疾病”的预测却不是。也就是说，我可以接受FP，但不能接受FN。

经过一番研究，我发现了Keeping higher learning rate for one class、using class weights、ensemble learning with specificity/sensitivity等方法。

我使用像class_weight = 0 : 0.3,1: 0.7 这样的类权重，然后调用model.fit(class_weights=class_weight)，实现了接近预期的结果。这给了我非常低的 FN 但相当高的 FP。我正在尝试尽可能降低 FP，以保持 FN 非常低。

我正在努力使用Keras 编写一个自定义损失函数，这将帮助我惩罚误报。感谢您的帮助。

【问题讨论】：

Here 您可以找到如何编写自定义 Keras 损失函数以实现特异性。

【参考方案1】：

我将简要介绍我们试图解决的概念。

召回

在所有中正面，我们的模型预测有多少是正面的？

所有积极的 =

我们的模型所说的是积极的 =

由于召回率与 FN 成反比，因此提高它会降低 FN。

特异性

从所有负中，我们的模型预测有多少是负的？

所有否定的 =

我们的模型所说的是否定的 =

由于特异性与 FP 成反比，因此提高它会降低 FP。

在您的下一次搜索或您执行的任何与分类相关的活动中，知道这些将在沟通和理解方面为您提供额外的优势。

---

解决方案

所以。正如您已经弄清楚的那样，这两个概念是对立的。这意味着增加一个可能会减少另一个。

由于您希望 优先级 进行召回，但又不想在特异性上松散太多，您可以将这两者和属性权重结合起来。遵循this answer 中明确解释的内容：

import numpy as np
import keras.backend as K

def binary_recall_specificity(y_true, y_pred, recall_weight, spec_weight):

    TN = np.logical_and(K.eval(y_true) == 0, K.eval(y_pred) == 0)
    TP = np.logical_and(K.eval(y_true) == 1, K.eval(y_pred) == 1)

    FP = np.logical_and(K.eval(y_true) == 0, K.eval(y_pred) == 1)
    FN = np.logical_and(K.eval(y_true) == 1, K.eval(y_pred) == 0)

    # Converted as Keras Tensors
    TN = K.sum(K.variable(TN))
    FP = K.sum(K.variable(FP))

    specificity = TN / (TN + FP + K.epsilon())
    recall = TP / (TP + FN + K.epsilon())

    return 1.0 - (recall_weight*recall + spec_weight*specificity)

注意到recall_weight 和spec_weight？它们是我们赋予每个指标的权重。对于分发约定，它们应始终添加到1.0¹，例如recall_weight=0.9，specificity_weight=0.1。此处的目的是让您了解哪种比例最适合您的需求。

但是 Keras 的损失函数只能接收 (y_true, y_pred) 作为参数，所以让我们定义一个包装器：

# Our custom loss' wrapper
def custom_loss(recall_weight, spec_weight):

    def recall_spec_loss(y_true, y_pred):
        return binary_recall_specificity(y_true, y_pred, recall_weight, spec_weight)

    # Returns the (y_true, y_pred) loss function
    return recall_spec_loss

在使用它时，我们会拥有

# Build model, add layers, etc
model = my_model
# Getting our loss function for specific weights
loss = custom_loss(recall_weight=0.9, spec_weight=0.1)
# Compiling the model with such loss
model.compile(loss=loss)

¹ 添加的权重必须总计为1.0，因为如果recall=1.0 和specificity=1.0（满分），则公式

给我们，例如，

显然，如果我们得到满分，我们希望我们的损失等于 0。

【讨论】：

嗨@julio，我尝试实施您的解决方案，但它返回给我下一个错误：InvalidArgumentError (see above for traceback): You must feed a value for placeholder tensor 'dense_1_target' with dtype float and shape [?,?]。知道如何解决吗？我在您的代码中更改的第一件事是将 np.logical_and 替换为 tf.logical_and，因为它仅适用于张量。但是我不知道如何更改其他错误...提前谢谢！

@CristinaV 你能在 TensorFlow 2 中复制它吗？我也遇到了同样的错误。

尝试了您的解决方案，但出现错误 ValueError: No gradients provided for any variable:

鉴于函数 binary_recall_specificity 是不可微分的，并且会破坏反向传播，因此我不知道如何在训练中使用它。

这个函数起初对我不起作用，因为我收到一个错误“AttributeError: module 'tensorflow' has no attribute 'enable_eager_execution'”。我可以通过在编译器中设置“run_eagerly=True”来解决这个问题：model.compile(, run_eagerly=True)。然而，正如@AndreyKuehlkamp 所指出的，这是不可区分的，并且在训练期间破坏了反向传播。我不认为这是一个可用的损失函数。