1.4 净重新分类指数
NRI(Net Reclassification Index,净重新分类指数),Logistic回归新旧模型比较只有一个NRI和一个IDI,而COX回归针对不同时点可有多个时点的NRI和IDI。
AUC作为区分度的评价指标,虽然广泛用于预测模型的区分度评价,但其为一个综合指标,其考虑了所有预测概率作为界值的一个综合判定。而实际应用中,我们只会选取一个适宜的诊断切点,关注该切点下的诊断能力,而非所有切点构成的AUC。
同时当我们比较两个模型的预测能力时,或者模型引入新的指标预测改善情况,我们需要一个比较两个模型预测能力的指标:NRI。
NRI原理如下:首先将研究对象按照真实的患病情况分为两组,即患者组和非患者组,然后分别在这两个分组下,根据新、旧模型的预测分类结果(根据某个切点),整理成两个2×2表格,如图1-16所示。
图1-16 NRI计算格式演示
我们主要关注被重新分类的研究对象,从图中可以看出,在患者组(总数为N1),新模型分类正确而旧模型分类错误的有B1个人,新模型分类错误而旧模型分类正确的有C1个人,那么新模型相对于旧模型来说,正确分类提高的比例为(B1-C1)/N1,即对角线上的比例-对角线以下的比例。
同理,在非患者组(总数为N2),新模型分类正确而旧模型分类错误的有C2个人,新模型分类错误而旧模型分类正确的有B2个人,那么新模型相对于旧模型正确分类提高的比例为(C2-B2)/N2,即对角线以下的比例-对角线以上的比例。
最后,综合患者组和非患者组的结果,新模型与旧模型相比,净重新分类指数NRI=(B1-C1)/N1+(C2-B2)/N2。若NRI>0,则为正改善:说明新模型的预测能力比旧模型有所改善;若NRI<0,则为负改善,新模型的预测能力下降;若NRI=0,则认为新模型没有改善。
然而我们上面计算的NRI是基于一个样本计算出来的统计量,可能是抽样误差导致的结果,因此,需要对其进行假设检验,我们可以通过计算Z统计量,来判断NRI与0相比是否具有统计学显著性,统计量Z近似服从正态分布,公式如下:
假设某研究纳入的样本中有患者200例,非患者300例,研究者拟评价,在旧模型的基础上加入新的生物标志后,新模型预测能力的改善情况,数据如图1-17所示。
图1-17 NRI演示数据
根据NRI计算公式:
NRI=(B1-C1)/N1+(C2-B2)/N2=(50-10)/200+(60-40)/300=26.7%
代入检验公式,可得Z=5.225,P<0.05,差异具有统计学意义,提示加入了新的标志物后,新模型的预测能力有所改善,正确分类的比例提高了26.7%。
NRI比AUC更加敏感,当两个模型的AUC差异比较无统计学显著性时,提示模型的区分能力(Discrimination)相近,但是进一步计算NRI后,可能会发现,新模型正确再分的能力(Reclassification)有显著提高,因此需要我们将AUC和NRI综合起来进行判断。
AUC相当于综合实力,相当于团体赛;NRI相当于个人的单项赛,整体比不过你,但是以某个界值为切点,我还是可以超过你的。
NRI可以分为分类NRI和连续NRI,见表1-1,展示了分类NRI、连续性NRI以及后面将介绍的IDI的计算。分类NRI需要结合专业上给的阈值,才能判定分类;连续NRI无须事先给出阈值,直接取新旧模型预测概率差值的符号;而IDI则是直接新旧模型概率的差值,同时计算时注意发生与未发生结局事件组的符号(可以简单理解为,在发生结局事件组,用新模型减去旧模型,而在未发生结局事件组,用的是旧模型减去新模型)。
表1-1 NRI和IDI模式表
上表引自:文玲子,王俊峰,谷鸿秋.临床预测模型:新预测因子的预测增量值[J].中国循证心血管医学杂志,2020,12(6):655-659.