如何计算两个嵌套数组的精度和召回率 [关闭]

Posted 2023-03-12

【中文标题】如何计算两个嵌套数组的精度和召回率 [关闭]

【英文标题】：How to calculate precision and recall for two nested arrays [closed]

【发布时间】：2018-10-04 11:30:01

【问题描述】：

我有两个数组，例如：

correct = [['*','*'],['*','PER','*','GPE','ORG'],['GPE','*','*','*','ORG']]
predicted = [['PER','*'],['*','ORG','*','GPE','ORG'],['PER','*','*','*','MISC']]

正确和预测的长度相同（10K+），两个数组中每个位置元素的长度也相同。 我想使用 python 计算这两个数组的精度、召回率和 f1 分数。 我有以下 6 节课： 'PER','ORG','MISC','LOC','*','GPE'

还想计算 5 个类别（“*”除外）的精度和召回率，以找到 f1 分数。 使用 python 执行此操作的有效方法是什么？

【问题讨论】：

为什么是列表列表，内部列表具有不同的长度（2 和 5）？？

这些是 NER 模型的结果。列表中的列表表示句子，因此在上述情况下，第一个句子有 2 个单词，然后下一个有 5 个单词，因此内部列表的长度。

【参考方案1】：

您必须将列表展平，如 here 所示，然后使用 scikit-learn 中的 classification_report：

correct = [['*','*'],['*','PER','*','GPE','ORG'],['GPE','*','*','*','ORG']]
predicted = [['PER','*'],['*','ORG','*','GPE','ORG'],['PER','*','*','*','MISC']]
target_names = ['PER','ORG','MISC','LOC','GPE'] # leave out '*'

correct_flat = [item for sublist in correct for item in sublist]
predicted_flat = [item for sublist in predicted for item in sublist]

from sklearn.metrics import classification_report
print(classification_report(correct_flat, predicted_flat, target_names=target_names))

结果：

             precision    recall  f1-score   support

        PER       1.00      0.86      0.92         7
        ORG       1.00      0.50      0.67         2
       MISC       0.00      0.00      0.00         0
        LOC       0.50      0.50      0.50         2
        GPE       0.00      0.00      0.00         1

avg / total       0.83      0.67      0.73        12

在这个特定示例中，您还会收到警告：

UndefinedMetricWarning: Recall and F-score are ill-defined and being set to 0.0 in labels with no true samples.

这是由于'MISC' 未出现在此处的真实标签中 (correct)，但可以说这不应该发生在您的真实数据中。

【讨论】：

是的，这行得通，谢谢。希望你能放弃对这个问题的投入。

@Harsh2093 没有对自己投反对票，也没有投票结束这个问题；你当然可以接受答案 - 见What should I do when someone answers my question?