1.5 综合判别改善指数
NRI主要用于在设定好的切点水平下判断和比较新旧模型的预测能力是否有所提高,在实际临床中容易计算,易于理解。但NRI的不足在于只考虑了某专业切点处的改善情况,却不能考虑模型的整体改善情况。于是一个综合判定改善情况的指标IDI应运而生,IDI(Integrated Discrimination Improvement,综合判别改善指数)。
IDI的计算公式为:
IDI=(Pnew,events–Pold,events) – (Pnew,non-events–Pold,non–events)
其中,Pnew,events-Pold,events是指患者组中,新模型预测概率的均值–旧模型预测概率的均值,表示预测概率提高的变化量。对于患者而言,预测概率越高,模型越准确,因此,该差值越大,提示新模型越好。
Pnew,non-events-Pold,non-events是指非患者组,新模型预测概率的均值–旧模型预测概率的均值。对于非患者,预测概率越低,模型越准确,因此,差值越小则新模型越好。两部分相减,则可得IDI。
图1-18中,分组代表受试对象的真实情况,PRE_1和PRE_2代表旧模型和新模型的预测概率,PRE_1_1和PRE_2_1代表旧模型和新模型在0.5切点下的分类,“0”代表未发病,“1”代表发病。利用分组分别PRE_1_1和PRE_2_1构建交叉表,就可以估算NRI,利用分组、PRE_1_1和PRE_2_1,就可以计算IDI。本章为理论,实战见后面章节。
图1-18 NRI和IDI资料格式
IDI也可以通过Z统计量来检验,以判断IDI与0相比是否具有统计学显著性,统计量Z近似服从正态分布,公式如下:
其中SEevents为Pnew,events-Pold,events的标准误,首先在患者组,计算新、旧模型对每个个体的预测概率,求得概率的差值,再计算差值的标准误。同理,SEnon-events为Pnew,non-events-Pold,non-events的标准误,是在非患者组,计算新、旧模型对每个个体的预测概率,求得概率的差值,再计算差值的标准误即可。