第三节　灭火救援效能评估指标体系

确定评估的指标体系是进行灭火救援效能评估的基础。指标选择得好坏对分析对象常有举足轻重的作用。指标是不是越多越好呢？太多，事实上是重复性的指标，会有干扰；太少，可能所选取的指标缺乏足够的代表性，会产生片面性。评估指标体系是联系评估专家与评估对象的纽带，也是联系评估方法与评估对象的桥梁。只有科学合理的评估指标体系，才有可能得出科学公正的评估结论。

建立评估指标体系是常见的对于复杂问题的一种评估形式，其优点是表达比较全面、细致，便于人们理解和接受；缺点是指标体系是人为制定的，在体系的构成、指标的分配、要素的选择上容易出现认识上的不一致，指标的综合意义不清晰，造成评估结果的主观性。理论上看，这些复杂问题（作战、保障等）用解析方法是不适用的，但其他方法过于复杂、不易理解、不易实行。所以目前大多数复杂问题评估，仍以建立评估指标体系、选择评估方法为主。

一、指标与指标体系的概念

1.指标

指标是衡量事物价值的标准或评估系统的参量，是事物对主体有效性的标度。其属性值所提供的就是用数字或文字表达的主观意识或客观事实。一般来说，任何一个指标都反映和刻画事物的一个侧面。因此，它是对事物进行分析研究和判断的基本依据。指标有三个构成要素，即指标名称、计量单位和属性值。其主要性质如下。

（1）指示性　指标用来指明事物的某一特性。

（2）具体性　指标不是抽象的概念，它反映的是事物的某一方面。每个指标都有明确的、具体的含义，即每项指标都具体地反映着客观事物的某一特性。

（3）可度量性　每项指标都有一个具体的属性值，可以进行度量与分析。

从指标的特征来看，可以将指标分为定性指标和定量指标。定性指标是用定性的语言作为指标描述值；定量指标是用数据作为指标值。

从指标值的变化对评估目标的影响来看，可以将指标分为极大型指标（又称效益型指标）、极小型指标（又称成本型指标）、居中型指标和区间型指标。极大型指标是指指标值越大越好的指标；极小型指标是指指标值越小越好的指标；居中型指标是指指标值既不是越大越好，也不是越小越好，而是适中为最好的指标；区间型指标是指指标值取在某个区间内为最佳的指标。

不论按什么方式对指标进行分类，不同类型的指标可以通过相应的函数进行相互转换。

2.评估指标体系

从认识论的角度来看，要认识一个事物尤其是复杂事物时，一项指标的作用是非常有限的，因为每项指标仅反映事物的某一个侧面。因此，若要全面了解和研究客观事物，就不能仅靠单项指标来了解情况与作出判断，而是要使用一套能从各个角度表征该事物的指标群。同时，反映客观事物的各项指标不是孤立的，在一定范围内或条件下是相互联系的。若干个相互联系的指标所构成的有机体，就称为指标体系。

评估指标体系就是众多评估指标组成的指标系统。在指标体系中，每个指标对系统的某种特征进行度量，共同形成对系统的完整刻画。记为：

式中，X_i（i=1，2，3，4）为极大型指标集、极小型指标集、居中型指标集和区间型指标集；Ø为空集。

二、灭火救援效能评估指标体系的分类

不同的目标结构会带来不同的评估指标体系结构形式，常见的评估指标体系的结构形式有递阶层次型评估指标体系和网络型评估指标体系。

1.递阶层次型评估指标体系

因为评估的目的与指标具有一致性，所以可以采用逐层分解目标的方法来建立指标体系结构，以总目标为基础，分列出一级指标，再根据每一个指标的内涵逐项分列出二级指标，以此类推，逐层细化，直至最底层指标可以相对容易度量为止，形成如图1.2所示的结构形式。按层次分，可以将效能评估指标体系分为最高层、中间层和基本层三层评价指标。指标体系的最高层是系统效能评估的目标；中间层是系统功能指标，是系统某方面功能的概括描述；最底层是尺度参数，是系统固有属性、特征的具体描述。

2.网络型评估指标体系

在结构比较复杂的系统中，若出现评估指标难于分离或系统评估模型本身尚未确定的情况，应使用或部分使用网络状的评估指标体系。系统的某一层次可处于支配地位，又可处于被直接或间接地接受其他层次支配的地位，既存在层次结构，又存在支配结构。网络型结构内部描述由两大部分组成：一部分是控制层，包括问题目标及决策准则；一部分是网络层，由所有受控制层支配的元素组成，元素之间有相互作用，如图1.3所示。

（1）控制层　它实际类似一个递阶层次结构，层内的所有准则彼此独立，下一个准则只受上一个准则支配。控制层在网络层次结构中是顶层，是最高层次，也是最高准则。

（2）网络层　它由若干元素集构成，彼此互不隶属，互不独立。网络层体现了评估元素的本质特征，每个元素或元素集彼此都不独立，某一元素集可能影响整个网络系统中的任一元素集。反之亦可能受其影响。

三、灭火救援效能评估指标体系建立的原则

在建立指标体系时应该遵循的一些原则如下。

1.系统性原则

灭火救援评估指标体系应能全面反映被评估对象的综合情况，从中抓住主要因素，既能反映直接效果，又要反映间接效果，以保证评估的全面性和可信度。影响系统效能的所有指标均应在指标集中，指标集具有广泛性、综合性和系统性。

2.简明性原则

在基本满足评估要求和给出决策所需信息的前提下，应尽量减少指标个数，突出主要指标，以免造成评估指标体系过于庞大，给以后的评估工作造成困难，并且应避免各指标间的相互关联，使指标体系的选择做到既必要又充分。

3.时效性原则

随着科学技术和消防事业的发展，装备水平和应急救援力量都发生了巨大的变化，处置灾害事故的理念也在不断改变，因此，灭火救援评估指标需要随着社会价值观念的变化而不断调整，否则会因不合时宜导致决策失误。

4.可测性原则

可测性是指标的定量表示，即指标能够通过数学公式、测试仪器或试验统计等方法获得。指标本身便于实际的使用，度量的含义明确，具备现实的收集渠道，便于定量分析，具备可操作性。

5.独立性

指标间应是不相关的，指标之间应减少交叉，防止互相包含，要具有相对的独立性。

6.一致性

评估指标体系可比性越强、评估结果的可信度就越大。评估指标和评估标准的制定要客观实际，便于比较。同时各个指标应与分析的目标一致，所分析的指标间不相互矛盾，从而充分体现评估活动的意图。所选指标既能反映直接效果，又要反映间接效果，不能将与评估对象、评估内容无关的指标选择进来。

只有坚持以上原则，才能更有效地建立合适的指标体系，使评估结果更能反映灭火救援工作的本来面貌。

四、灭火救援效能评估指标体系建立的一般过程

为了将多层次、多因素、复杂的评估问题用科学的计量方法进行量化处理，首先必须针对评估对象构造一个科学的评估指标体系。这个指标体系必须将被评对象大量相互关联、相互制约的复杂因素之间的关系层次化、条理化，并能够区分它们各自对评估目标影响的重要程度，以及对那些只能定性评估的因素进行恰当、方便的量化处理。

灭火救援效能评估指标体系的建立是一项很困难的工作。一般来说，指标范围越宽，指标数量越多，则方案之间的差异越明显，有利于判断和评估。同时，确定指标的内容和指标的重要程度也越困难，处理和建模过程也越复杂，因而歪曲方案本质特性的可能性也越大。评估指标体系要全面地反映出所要灭火救援评估系统的各项目标要求，尽可能做到科学、合理，且符合实际情况。为此，制订评估指标体系需在全面分析系统的基础上，首先拟定指标草案，经过广泛征求专家和有关部门的意见，反复交换信息，统计处理和综合归纳等，最后确定评估指标体系。

灭火救援效能评估指标体系的建立是一个反复深入的过程，其建立程序如图1.4所示。

1.目标分析

目标分析是建立评估指标的前提，确定系统的目标层次结构是建立评估指标体系层次结构的基础，目标，就是评估系统所要达到的目的，是要求评估系统达到的期望状态。

2.系统分析

系统分析就是采用系统的观点和方法，对评估对象进行分析，明确影响评估的因素，澄清各因素之间的关系。

3.特征属性分析

特征属性分析就是对各组成要素的特点进行分析，建立与之相适应的指标，明确各指标的本质属性，为建立数学模型、获取评估数据奠定基础。

指标属性是指每个指标是定性的还是定量的，是静态的还是动态的，具体定义如下。

①定性指标是指不可用数量描述的指标。

②定量指标是指可以通过分析、计算得到具体数量描述的指标。

③静态指标是指不随时间、环境条件等因素变化而变化的指标。

④动态指标是指随时间、场合等条件变化而变化的指标。

4.结构分析

不同的目标结构，会带来不同的评估指标体系结构形式，常见的评估指标体系的结构形式有以下两种。

（1）层次型评估指标体系　根据评估指标体系的目的需要，通过分析系统的功能层次、结构层次和逻辑层次建立相应的评估指标体系。

（2）网络型评估指标体系　在结构比较复杂的系统中，若出现评估指标难于分离或系统评估模型本身尚未确定，应使用或部分使用网络状的评估指标体系。

5.信息来源分析

指标信息的来源通常包括以下几种：

①有关数据库（含类似消防指挥信息系统的有关数据库）；

②统计分析；

③专家咨询；

④主观估计。

6.权重分析

权重是要素对目的（上层目标）的贡献程度的度量。通过权重分析，可以得到各个指标在综合评估中的地位和影响程度。

7.归一化分析

归一化是指标间相互比较的基础，是进行综合评估的前提。

8.形成初步的评估指标体系

上述各项工作完成后，便可以形成一个初步的、可供实际操作的评估指标体系。

9.专家咨询、在实践中检验

形成初步的评估指标体系后，需要广泛征求专家、业务机关和有关人员的意见和建议，在实践中检验，以得到满意的综合评估指标体系。

值得注意的是，有些指标是相容的，有些指标是互斥的，所构建的指标体系本身应具有相容性，这就需要在筛选工作中对指标因素的关系进行研究。

设置评估指标的数量要适度，要在系统分析的基础上，做到科学合理、符合系统实际，并为管理人员和部门领导接受，通常采用德尔菲法，经过初步拟定、专家咨询、信息反馈、统计处理和综合归纳等环节，最后确定评估指标体系。

五、灭火救援效能评估指标体系建立的方法

建立评估指标体系主要根据还原论，将被研究的问题分解为很多子问题进行研究，如果无研究结果，还可再分解，直到研究有结果，再一层一层地返回以求得整体问题的解答，这也是常见的分析方法之一，指标体系集中反映了评估目标的主要特征和层次结构，区分各层目标和单个目标对系统整体评估的影响程度。

具体采用的方法主要有专家直接确定法和德尔菲法。专家直接确定法简单易行，节省时间，可以发挥专家的个人才智，通过讨论会，可激发创造性思维；但由于参加会议的人数有限，不能更广泛地搜集各方面意见；会议有时易受领导或权威的影响，不能真正畅所欲言和充分发表意见。

而德尔菲法可有效克服专家直接确定法的缺点。该法又称专家调查法，它是20世纪40年代由美国兰德公司研究人员赫尔马（Helmet）和达尔齐（Dalkey）首先提出的。德尔菲是古希腊一座城市的名称，是阿波罗神庙的所在地。相传，阿波罗曾在这里代表希腊神话中的主神宙斯宣布神谕，预告未来。德尔菲也含有集中众人智慧与经验之意。

德尔菲法与专家直接确定法最大的不同：专家彼此保密，防止了少数权威人士影响其他专家的意见，消除了专家相互间的心理影响，保证了意见的独立性，有利于所有专家独立发表自己的意见。最终的结果集思广益，可信度较高。

德尔菲法的缺点：第一轮是一张白纸，虽然能充分吸收专家的意见，避免片面性，但由于无法与评估组织者直接沟通，有些专家会感到无从下手，不知道如何才能符合组织者的要求；评估周期长，一般要经过三轮甚至五轮。

六、评估指标体系的简化

建立评估指标体系是一种解决复杂问题评估的常见方法，是评估领域最传统、最有效并经过实践检验的方法。指标体系是由一系列指标构成的有机整体，是综合测量评估对象的尺度集。指标体系的建立方法一般采用专家直接确定法、德尔菲法等确定，其建立过程常常包含许多不确定性、随机性和模糊性，其指标的多少、层次的多寡更包含着大量的主观因素。

指标体系的制定者往往追求指标体系的全面性、完备性，企图使指标体系包含所有的因素，其结果是指标过多，体系复杂，给评估组织者、数据提供者、评估专家带来很大的负担。

1.评估指标体系简化的意义

目前，评估指标体系发展十分迅速，但似乎人们更热衷于追求指标体系的完备。人们对研究对象剖析越来越细，指标越来越多，计算越来越复杂，操作也变得越来越困难。本来体系的完备性是追求的目标之一，但如果主次不分，过分在细枝末节上纠缠不清，则可不取。

评估指标体系简化的现实意义，主要体现在以下几点。

①简化的评估模型会大大节省财力和人力。

②简化的评估模型使得数据处理更加容易。

③简化的评估模型会大大节约时间。

④简化的评估模型使得对评估过程的控制更加容易。

⑤简化的评估模型会减少评估人员的抵触心理。

⑥简化的评估模型会提高评估实施的可行性。

2.评估指标体系简化的前提

评估指标体系必须存在简化的前提条件，即有着简化的必要性和可行性，才应对指标体系进行分析简化。否则，简化将是毫无意义的。在具体操作前，要对此作概略的定性分析。

（1）存在与评估目标不一致的指标　任何评估都具有一定目的，当一个指标不能反映所要求的目标时，它就是无效的。这种无效的指标只会干扰评估目标的实现，应该去掉。

（2）某些指标对目标信息反映较少　评估指标体系不是所有相关指标的罗列，应抓住重要性指标，抓住能反映本质特性的指标。主次不分只能使人们失去对事物本质的认识。因此，即使有些指标与评估目标有关，但却只反映了较少的信息，这种指标也应作相应处理。

（3）指标间存在相关性　如果各指标间存在多重共线性，即意味着某些指标可用其他指标线性表出。这些指标就不能为评估目标提供附加的信息，而且指标的相关同样会带来信息的冗余，这样会增大评估的工作量，使重复的指标被重复地评分，影响结论的合理性。

（4）存在不可操作的指标　不可操作是指在实际评估过程中无法对指标变量进行测量或丧失了进行操作的意义。它有以下几种情况。

①无充足的人力、财力保证。某些指标可能涉及面广，难度大，要耗费大量的人、财、物，在一个经费有限的小规模评估中，对此类指标变量测量是不现实的。

②不可测性。在特定的评估时段与评估空间内，有些指标是不易或不能取得有关的资料与数据的，这种指标对评估的实施显然是无意义的。

③指标变量不符合评估对象的实际。有些指标在理论上或许是可取的，但被评估对象均无此条件或均明显具有同一条仵，使实际测量丧失意义。

3.评估指标体系简化的原则

评估指标体系简化时应该遵循的一些原则如下。

（1）整体完备性与指标简化的平衡　指标的整体完备性是指指标体系不遗漏任何重要指标，同一子系统的指标全体反映它的上一级指标的整体，同一层次结构的指标全体反映目标的整体。整体完备性考虑的是指标的全面与信息的充分，而指标的简化则着眼于指标的精简与操作的易行，往往会损失一部分信息。在简化指标时，要考虑这两者间的度。

完备性的要求往往会导致指标体系数目门类繁多，从而增加数据统计的工作量，难免发生指标与指标的重叠，相关性太高，甚至相互对立的现象，再加上有些数据难以获得或者水分过大，最终影响评估的顺利开展，以及评估结果的有效性。为此，在追求数据完备性的前提下，应当注重完备性与简明性的有机结合，使得指标的选择既要全面，又要避免繁杂。指标选取应当去伪存真，去粗取精，抓住主要矛盾，使复杂的问题简单化，深入浅出，尽可能达到描述区域可持续发展态势的最小完备集。正如爱因斯坦的警告：“万事万物应该尽量简单，而不是越简单越好”。

（2）减少冗余指标　评估指标体系由许多指标组成，指标最好不相关，即同一级内的各个指标互不重叠。如果指标相近，说明有冗余指标存在，不但加大了评估的工作量，而且影响了指标体系及评估结论的科学性。

（3）抽象与具体的平衡　指标体系中的指标，应是一些具体的、可以行为化的内容，但也要清楚地认识到，有时具体的东西并非需要评估的东西，而是与评估对象有关联的某种效应。因而，在指标体系简化时要注意到，不能因过分强调这种具体性而丧失了指标效应与评估对象的一致性。

（4）精度适度　评估的性质不同，评估者的需要不同，评估所要求的精确程度也就不同，当然，对指标主系的简化程度也不一样。一个规格比较高的、对下一步工作具有指导意义的评估可能对评估的可信性与全面性考虑得更多一些，而小范围的、了解情况性质的评估则可能只要求评估结果反映出被评对象的大概即可。因此，简化指标体系时要注意评估所要求的精确程度，以决定指标简化的程度。

4.评估指标简化的方式

指标体系简化主要有两种方式：一是指标变量个数的减少；二是组合方式的简化。

（1）指标变量个数的减少　假设有评估模型为：

式中，p为评估结果；x_i为评估指标变量（i=1，2，…，n）；f为映射关系。

如果在评估过程中，发现x_j与x_k（j≠k）之间有如下关系：

x_k=lx_j（l≠0）（确定型）

或相关系数

可以试着减少一个变量，如去掉x_k，在出现x_k处代以lx_j（确定型）或x_j（不确定型）代替。

以上是以相关性为例说明指标变量个数的减少。在判断指标是否符合实际、是否具有可区别性等其他指标后，同样可对指标变量进行调整。

（2）组合方式的简化　假设有两个评估模型为：

与

p'=g（x₁，x₂，…，x_n）

其中各符号的意义同前。如果g的组合方式比f简单，并在评估过程中发现

≤ε（0<ε≪1）（确定型）

或

r（p，p'）≥α（α≥0.6，为阈值）（不确定型）

就可采用p'替代p的评估模型。

组合方式的简化还包括这样一种情况，即指标本身并不改变，但指标变量的性质发生了变化，从而使得评估简单易行。例如，某些指标作为门槛型变量处理后，仅对指标作门槛值判断即可，这样显然简化了评估过程。

5.评估指标体系简化的方法

评估指标体系简化的方法主要分为以专家经验为主的定性方法（如专家调研法）和以数据分析为主的定量方法（极大不相关法）。

（1）专家调研法　专家调研法是一种向专家发函、征求意见的调研方法。评估人员可以根据评估目标和评估对象的特征，在所设计的调查表中列出一系列评估指标，分别征询专家对所设计的评估指标的意见，然后进行统计处理，并反馈咨询结果，经几轮咨询后，如果专家的意见趋于集中，则由最后一次咨询结果确定具体的评估指标体系。

这种方法具有主观性，其结果是否全面和可靠取决于专家的知识结构、经验。比较适用于定性指标的筛选。

（2）极大不相关法　指标体系有p个指标x₁，…，x_p，如果有n组数据，相应的全部数据用矩阵X表示，如果x₁与其他的x₂，…，x_p是独立的，表明x₁无法由其他指标来代替，因此保留的指标应该是相关性越小越好。

由X得方差、协方差，形成矩阵

式中，方差：

协方差：

均值：

求得相关系数矩阵R_x：

式中，，r_i称为x_i与x_j的相关系数，它反映了x_i与x_j的相关程度，现在考虑一个变量x_i与余下p-1各变量之间的线性相关程度，称为复相关系数ρ_i。

式中，r_i21为一级偏相关系数，以此类推。得出ρ_i后，其中最大的一个，标识与其与变量的相关性最大。在指定临界值D（通常D=0.95×max（ρ₁，ρ₂，…，ρ_i））后，当ρ_i>D时，即可删去相对应的x_i。

6.指标分级标准建立

评价指标的分级标准是非常重要的，指标选取的是否合理可能会对评价结果的准确性与可靠性造成影响。依据评价指标的分级标准能够确定指标的最终等级和各个因素的等级。对于定量指标，需要将定量数值转化为模糊分布，统一为定性指标的分布标准，进而便于与定性指标一起进行综合分析。任何一个评估都需要一个衡量尺度，也就是一个分级标准，没有分级标准，人们就无法对度量结果的好坏作出判断。

因此，灭火救援系统指标体系确立后，就需要明确各项指标具体的效能等级评判标准，通过表征受评对象的特征值与标准值进行比较，把具体指标值转换为评估值才能确定灭火救援效能的高低，进而提出相应的改进措施。可见，灭火救援效能评估指标分级标准是效能指标体系的重要组成部分，评估标准合理与否将直接影响到评估结果的准确性。灭火救援效能评估指标分级标准的确定是一项细致、复杂的工作，确定的分级标准既要科学合理，能够得到评估和被评估双方的公认，又要简明扼要，这样才便于评估人员组织实施。分级标准的确定需要广泛查阅文献，到消防部门调研，和专家座谈，并参照相关规范标准等途径，最终确定灭火救援效能评估指标的分级标准。