R新旧模型计算净重新分类指数（NRI）和整体鉴别指数（IDI）详解及实战

Posted 2021-05-21 Data+Science+Insight

R计算净重新分类指数（NRI，net reclssification improvement）和整体鉴别指数（IDI，integrated discrimination improvement）

 

NRI：新模型较旧模型重分类正确的比例提高了多少或者能提高多少（可以是负值）？换句话说增加一个预测变量的新模型预测的准确度比旧模型更好或者更坏了多少？

IDI：说明新模型较旧模型预测能力仅改善了多少或者损坏了多少？

所以，NRI和IDI都是在两个模型之间进行比较而不是单个模型的计算。

而且，往往是使用不同特征或者更多的是加入新特征来评估效能的变化情况，有点类似逐步回归的感觉，只不过NRI和IDI是单步的。

 

 

在构建多因素预测模型之后，我们通过AUC评价discrimination。但如果在这些因素的基础上增加新的biomarker或者genotype时，得到的新的AUC的变化可能会不太大，但是新的biomarker或者genotype可能真的有预测作用，所以通过NRI（net reclssification improvement）和IDI（integrated discrimination improvement）来评价新建预测模型。