上QQ阅读APP看书,第一时间看更新
第四节 评价分析方法
制订了要求、建立了质量目标和选择了候选方法后,要执行统计学上规定试验来收集所需要的数据,这样才能作出方法性能特征的评价。
(一)初步评价
一般来说,初步评价期应该是熟悉分析方法,它的仪器及程序步骤;这种熟悉阶段包括通过预试验来确定批内精密度和分析范围。
一旦分析人员满足执行的方法并没有任何困难,精密度应使用在每一决定性水平上材料重复至少20次测量。然后再执行回收和干扰研究。如果具有可溯源性或已建立准确度和精密度的必备的比较方法可获得,应根据方法比较试验来检验准确度。
对每一类型的误差可获得定量的值,这些值可以与规范的允许误差限进行比较。实际上,这些误差量的估计值可使用不同的统计技术获得。例如,使用标准差来估计精密度;因此,评价精密度的准则是试验的标准差落在规定的允许标准差范围内。另外,当已规定了随机误差目标后,试验的标准差乘以4(根据Barnett和Westgard推荐)提供随机误差的估计;这种估计值然后与允许总误差进行比较。对干扰、回收和方法比较试验(表11-3)能建立类似的准则。
表11-3 不同评价试验估计的误差判断其可接受性准则
s obs是重复试验确定的标准差; 是回收试验确定的平均回收(百分数);bias是干扰试验确定的平均差;a和b采用方法比较数据由回归分析确定的y-轴上的截距和斜率;x c是在医学解释上最为关键的决定性浓度水平;s A、B A和TE A分别是允许标准差(s)、允许偏倚和允许总误差。
(二)方法评价逐步描述
执行方法评价的实验室必须完成下列任务(下面列出的项目体现了CLIA’88法规相关的条款)。
1.书面评价草案和程序文件,并需要对程序文件进行维护。CLSIQMS022-A6“质量管理体系:实验室文件的建立和管理——批准指南”提供了描述技术程序的详细资料。
2.记录从评价到决定使之生效之间收集的信息,用文件的方式来证明方法的有效性。
3.通过分析一套参考溶液或含有高浓度分析物的一系列的质控品或混合样本的溶液来确定可报告范围。选择适当的稀释剂,在某些情况下,稀释剂应是无该分析物的血清。绘制观察值与系列样本的相对稀释液的图形。通过对图形的直观的检查估计分析范围。将观测的范围与需要的分析范围或厂家提供的范围进行比较。CLIA’88要求分析范围不要超出可获得的校准物浓度。
4.确定检测的精密度分量。首先,通过分析混合血清或质控品20次或更多次数来确定批内精密度。选择分析物的值应接近决定性水平。计算平均值和标准差,并将观测的标准差与允许的标准差(表11-2)进行比较来评价可接受性。当处理数据时,如果数据是:①与文件记录的误差有关系(即:当自动化仪器指示出“误差”状态时获得的数据);②由于未记录的错误而被剔除(即:小数点或抄写误差);③如果它们是统计上的离群值(如果样品数为40,则大于3.5s的数据为离群值),这些数据应剔除。剔除离群值后,重新计算每一组数据平均值和标准差。如果批内精密度不能满足要求,需要确定不精密度的来源,或抛弃这一方法。不精密度常见的问题包括标本或试剂的分配、混合操作及信号的测量。如果批内不精密度满足要求,则开始下一步的检测。日间变异是通过至少20天,在每一工作日分析混合血清或质控品来确定。
5.通过将候选方法的性能与决定性或参考方法作比较,执行回收试验,或将候选方法的性能与被替代方法的性能比较,来确定方法的正确度。
(1)建立候选方法准确度最科学有效的方法是其性能与具有已建立的准确度的决定性或参考方法的比较。然而,实际上,对于常规临床实验室参考方法是很难获得的。在这种情况下,使用一定数量临床上相关的有证参考物质评价候选方法的正确度。这些材料使用决定性或参考方法来赋值。例如标准参考物909(SRM909),其可从美国国家标准和技术研究院(NIST)获得。然后,将从候选方法获得的值与参考标准物质提供的靶值进行比较。
(2)对于回收试验,分析一组样本,其包括真实标本(即基线样本)及已加入特定量的分析物(即:试验样本);接着,计算试验和基线浓度或活性的差值来确定已回收的量。然后,计算回收量与加入量的比值(这个值不应是采用检测到的总量与加入重量的比值,因为加入后真实的总量不是已知的)。最后,将这个值乘以100得到百分回收。平均回收和理想的100%回收之间差提供了比例误差的估计,此值乘以决定性水平可确定在此临界浓度下的误差大小。将这种误差的估计值与允许误差进行比较可判断可接受性。
(3)如果使用候选方法代替现存在的方法,使用分割样本研究可比较两方法的性能。在这样的研究中,收集40~100份临床样本,分成两个等份,然后用两方法进行检测。如果可能,标本应该是新鲜的。如果必须使用贮存的标本,应在一定条件下保存标本防止分析物变质。它们应在几天的时间内以小组方式进行检测以提供两分析方法性能的代表性数据。
(4)方法比较研究产生的数据时数据应该绘制成图,试验方法的结果在y轴,比较方法的结果在x轴。如果识别出了离群值,应由两方法重新分析样本,检查特定的特征。
处理方法学比较的数据可采用不同的统计方法。尽管相关系数和评价均值之差的显著性的统计检验应用很普遍,但是对于方法学的性能它就没有多大的价值。
相关系数:评价试验方法是否准确时不应使用相关系数(r)。严重不准确的x和y数据仍将产生高(好)的相关系数值。相关系数在揭示两方法是否有关系时是有用处的,在方法学评价上通过帮助证实最小平方线性回归统计量应用于方法比较数据来确定数据范围是否在适当的宽上有很高的价值。相关系数(r)大于或等于0.975表明对于应用简单线性回归技术时样本数据是适当范围。相关系数在方法学比较研究中再没有其他的适用之处。
t检验:t值可用于确定偏倚是否是统计上的显著性。这一事实可有意义,但它不能帮助作出基于临床意义上关于试验方法可接受性的决定。
最小平方回归统计量:经常使用回归分析在统计学上评价从方法学比较研究所获得的数据。据此,可确定斜率(b)、y轴上的截距(a)和回归线的标准差(s y/x)。斜率提供了比例误差的估计值,截距给出了固定误差的估计值,及s y/x是方法之间随机误差的估计值。回归方程:
y=a+bx
被用来估计在决定性水平浓度下的系统误差。借助于回归方程可计算相对于x值(x C)时的y值(y C)(y C=a+bx C);计算的系统误差是x C与y C之间的差值(SE= ,表11-2)。SE可与允许偏倚或允许总误差规范进行比较判断其可接受性。总误差准则是观测的系统误差与4倍观测的标准差s obs之和(TE=SE+4s obs),然后,这一估计值与允许总误差(TEa)进行比较。应及时地仔细检查看是否有异常的数据点。如果识别出误差或根据统计学基础,离群值应从数据组中剔除。
尽管回归分析广泛地用于方法比较研究,但应用时必须仔细。例如,使用回归分析,①数据点必须是独立的;②自变量应该是没有显著性误差;③比较的数据必须局限于两方法的线性范围;④离群值,特别是低或高端的数据必须经过仔细的检查,因为它们对系统误差的估计具有非比例性的影响;⑤数据范围必须覆盖分析物值的范围。
6.通过确定校准曲线的斜率可估计新方法的灵敏度。如果样本的稀释足够大,从分析范围试验可获得该信息。在试验过程中也应进行样本和试剂空白的测量,并应该注意这些信号的大小并与分析物低浓度信号之间比较。
7.使用下列公式估计方法的检出限:
xL=xbl+ksbl
其中x bl是空白测量的平均值,s bl是空白测量的标准差,k是基于期望的置信水平选定的数字系数。实际上,k值为2或3获得检出限具有的概率分别为95%或99%。
8.通过评价由于在血样本中出现如胆红素、血红蛋白、脂类、抗凝剂和常见药物物质的干扰来检验新方法的特异性。通过执行类似于回收试验的试验,即加入的物质是怀疑的干扰物质而不是分析物,对干扰进行检验。然后,将获得的差值或偏倚与允许偏倚或允许总误差(TEa)进行比较来判断其可接受性(表11-2)。
9.建立分析物的参考区间。如果从候选方法和旧方法获得的结果是可比较的,旧方法的参考区间也可用于新的方法。如果根据厂家声明执行新的方法,实验室甚至可以使用厂家发表的参考区间。然而,美国CLIA’88要求实验室验证厂家的参考区间是否适合实验室患者的群体。如果:①新方法产生的值与旧方法的值不一致,但是新方法已取得改进,②新方法相对于旧方法由于某些原因是可接受的,或③新方法被用于测量实验室以前未检测的分析物,则必须确定参考区间。
注意美国CLIA’88法规要求实验室必须保留所有实验确认的文件,包括用于验证精密度、正确度、分析灵敏度和特异性、可报告范围和“其他可用的性能特征”,用于满足性能规范。
除了评价候选方法的性能外,实验室也应该通过比较使用不同批号和使用已经贮存不同时期的批号的试剂和参考物质获得的结果,确定它们的稳定性和一致性。同时鼓励工作人员在新方法应用初期信息的反馈。在头几个月份应使用统计质量控制方法来仔细地监测其性能。
(三)评价临床方法的文件
美国临床和实验室标准研究院(CLSI)多年来一直致力于制定一系列评价临床方法的文件。CLSI是一个全球性、多学科、非营利性的标准化和教育性团体,旨在促进医疗卫生领域中的标准化进程和应用。它在发展相关的标准和指南时采取了特有的协商一致过程(consensus process)。CLSI的自愿协商一致过程是一个建立正式标准的过程,包括方案的认可、建立和公开对有关文件的评论和根据使用者的意见修改文件。
基于协商一致过程所接受的标准或指南,已在世界范围内被公认是改进对患者服务的有效手段。CLSI出版的标准是基于一致化过程明确界定材料、方法或操作的基本特性,使用中不得修改。其中可包含一些任意的因素,但已被明确定义。指南是基于一致化过程,描述常规检测操作、程序或使用材料的文件。可以遵照执行或进行适当改动以适合使用的特殊需要。
多数CLSI文件可在2个水平上达成一致。即提议(proposed),此类文件编号为P;批准(approved),编号为A。根据评价或数据收集的需要,部分文件也可介于上述两者之间,即暂定(tentative)文件,编号为T。“提议文件”的内容通常要接受广泛、细致、全面的评论;暂定文件还需要进行特定的评价或需要收集数据,以保证其应用;核准文件是修改后的最终文件。还有一类委员会报告,则是尚未通过一致化过程的文件,编号为R。
目前CLSI公布的与方法学评价有关的文件如下:
EP05-A2:定量测量方法精密度性能评价;批准指南——第2版(Evaluation of Precision Performance of Quantitative Measurement Methods; Approved Guideline—Second Edition)。用于定量测量方法精密度性能评价的实验设计;与生产厂声明的精密度进行比较的建议及确定何时这种比较是有效的。
EP6-A:定量测量程序线性评价:统计方法;批准指南(Evaluation of the Linearity of Quantitative Measurement Procedures:A Statistical Approach; Approved Guideline),用于在方法评价中描述方法的线性,检查线性是作为常规质量保证的一部分,以及确定和表述线性范围的厂家声明。
EP07-A2:临床化学实验干扰;批准指南——第2版(Interference Testing in Clinical Chemistry; Approved Guideline——Second Edition),提供研究、识别和描述干扰物质对临床化学试验结果影响的背景信息、指南和实验程序。
EP09-A3:用患者样品进行测量程序比较和偏倚评估;批准指南——第3版(Measurement Procedure Comparison and Bias Estimation Using Patient Samples; Approved Guideline—Third Edition),描述使用患者样品测量程序比对实验设计及后续数据分析技术用于确定两种体外诊断测量程序之间的偏倚。
EP10-A3:定量临床实验室测量程序的初步评价;批准指南——第3版(Preliminary Evaluation of Quantitative Clinical Laboratory Measurement Procedures; Approved Guideline-Third Edition),提供了用于测量程序和设备性能初步评价的实验设计和数据分析。
EP12-A2:定性试验性能评价的用户协议;批准指南——第2版(User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline——Second Edition)
EP14-A2:基质效应的评价;批准指南——第2版(Evaluation of Matrix Effects; Approved Guideline——Second Edition)
EP15-A2:精密度和正确度性能的用户验证;批准指南——第2版(User Verification of Performance for Precision and Trueness; Approved Guideline-Second Edition)
EP17-A2:临床实验室定量测量程序检出能力评价;批准指南——第2版(Evaluation of Detection Capability for Clinical Laboratory Measurement Procedures; Approved Guideline—Second Edition)。
EP19-RE:CLSI评价方案框架;报告(A Framework for NCCLS Evaluation Protocols; A Report)。
EP21-A:临床实验方法总分析误差的评估;批准指南(Estimation of Total Analytical Error for Clinical Laboratory Methods; Approved Guideline)。
EP24-A2(代替GP10-A):用受试者工作特征曲线评价实验室试验诊断的准确度;批准指南——第2版(Assessment of the Diagnostic Accuracy of Laboratory Tests Using Receiver Operating Characteristic Curves; Approved Guideline—Second Edition)。
EP25-A:体外诊断试剂稳定性评价;批准指南(Evaluation of Stability of In Vitro Diagnostic Reagents; Approved Guideline)。
EP26-A:试剂批号之间变异性的用户评价;批准指南(User Evaluation of Between-Reagent Lot Variation; Approved Guideline)。
EP27-A:如何建立和解释定量诊断检测的误差网格;批准指南(How to Construct and Interpret an Error Grid for Quantitative Diagnostic Assays; Approved Guideline)。
EP28-A3C(以前为C28-A3c):临床实验室定义、建立和验证参考区间;批准指南——第3版(Defining,Establishing,and Verifying Reference Intervals in the Clinical Laboratory; Approved Guideline—Third Edition)。
EP29-A(以前为C51-A):检验医学测量不确定度的表述;批准指南(Expression ofMeasurement Uncertainty in Laboratory Medicine; Approved Guideline)。
EP30-A以前为C53-A):检验医学互换性参考物质的表征和证书;批准指南(Characterization and Qualification of Commutable Reference Materials for Laboratory Medicine; Approved Guideline)。
EP31-A-IR(以前为C54-A-IR):医疗机构内患者结果可比性验证;批准指南(Verification of Comparability of Patient Results Within One Health Care System; Approved Guideline—Interim Revision)。