1.7 临床决策曲线
决策曲线分析法(Decision Curve Analysis,DCA)是临床预测模型是否能够落地应用的“最后一公里”。临床上,我们通过ROC曲线来寻找诊断试验的切点,主要是将特异性和敏感性作为同等重要的权重进行考虑,但这种考虑真的合理吗?患者就一定受益吗?
如通过某个生物标志物预测研究对象是否患病,无论选择哪个界值,都会遇到假阳性和假阴性的可能;有时候避免假阳性受益更大,有时候则更希望避免假阴性,既然两种情况都无法避免,那就两害相权取其轻,两利相权取其重,我们就选择对患者最有利的,也就是净受益最大的方法,这就是临床效用的问题。
一个病人,如果是X病,做手术可延长6年寿命,如果不是X病,做手术会缩短3年寿命,那么某个患者经过模型预测有40%可能是X病,到底做不做手术呢?临床决策曲线就是考虑在模型各个阈值情况下,模型真正获益的净人数,如图1-26所示。
横坐标为阈值概率:在风险评价工具中,患者诊断为X病的概率为Pi;当Pi达到某个阈值(Pt),就界定为阳性,采取治疗措施。此时会有病人治疗的获益,也有非病人治疗的伤害以及病人未治疗的损失。而纵坐标就是利减去弊之后的净获益(Net Benefit,NB)。
横线:代表所有样本都是阴性(Pi<Pt),所有人都不治疗,净获益为0。
斜线:代表所有样本都是阳性,所有人都接受了治疗,净获益是个效率为负值的反斜线。
DCA结果解读见图1-27,假定选择预测概率为40%诊断为X病并进行治疗,那么每100人使用此模型的患者,大约有42人能从中获益而不损伤任何其他人的利益(其实是有人利益受损,只是DCA曲线分析校正了这部分人群的损失)。
图1-26 临床决策曲线
图1-27 DCA解读示意图
对于基于Logistic回归的诊断模型,训练集和验证集均需绘制DCA曲线,如图1-28。而对于基于COX回归的预后模型,则需要绘制不同时点的DCA曲线,如图1-29所示,如1年、3年、5年等,而且也需要训练集和验证集都要绘制,如图1-30所示。
图1-28 诊断预测模型DCA曲线
图1-29 预后模型DCA曲线展示(一)
图1-30 预后模型DCA曲线展示(二)
图1-29中A、B、C分别代表1年、2年和3年的决策曲线(DCA),每张图中的两条线代表两个不同的模型。
图1-30中,A和B代表训练集的OS和CSS的DCA曲线,C和D代表验证集OS和CSS的DCA曲线。内部的两条线代表两个不同的模型。
初学临床预测模型,很多人对数据集的应用心存困惑,关于哪些指标训练集要做,哪些指标验证集要做,松哥给大家做一个总结。
训练集和验证集都要做的是:区分度(C-index或ROC/AUC)、校准度(校准曲线和/或H-L检验)、临床决策曲线(DCA);Nomogram(诺莫图)只针对训练集做。而上述所有这些都是基于模型计算出来的P,有P就有临床预测模型的一切。