第三节 运行绩效评价的相关理论

运行绩效的评价是一个相当广泛的研究主题，但所运用的评价方法及其模型却大同小异，其理论基础也大致相同，主要涉及评价流程及评价方法等理论。

一 运行绩效评价的流程

运行绩效的评价必须按照一定的程序来进行，主要包括构建评价指标体系、确定指标权重系数、获取评价数据以及科学选择评价方法等步骤。

（一）构建评价指标体系

评价指标体系是由若干评价指标构成的集合，其中的每个指标都可以从不同侧面反映被评价对象的某种属性或特征。评价指标必须进行明确的定义，以充分说明指标的内涵与外延。评价指标体系的结构形式大致可分为以下三种。

（1）层次型评价指标体系。这是绩效评价工作中采用得最多的形式，一般是通过分析被评价对象的功能层次、结构层次及逻辑层次来建立相应的评价指标体系。

（2）网络型评价指标体系。在对比较复杂的对象进行绩效评价时，若出现评价指标难以分离的现象，可以在局部采用网络状的评价指标体系。

（3）多目标型评价指标体系。对于非常复杂的评价对象而言，追求单一的目标评价，往往具有很大的局限性和危险性，通常需要建立多目标评价指标体系。在多目标评价指标体系中，每个目标的评价指标体系可以是层次型的，也可以是网络型的，甚至还可以分解为多目标型。

（二）确定指标权重系数

对不同的评价对象和目的来说，评价指标之间的相对重要性是不同的，其大小可用权重系数来描述。若wj是评价指标xj的权重系数，一般应有：

当被评价对象以及评价指标给定时，评价结果就依赖于权重系数了，权重系数确定得合理与否，关系到评价结果的可信程度。因此，权重系数的确定是运行绩效评价过程中非常重要的环节。目前，权重系数的确定方法有十余种，可分为主观赋权法、客观赋权法以及组合赋权法三大类型。其中主观赋权法的原始数据主要是由专家根据经验主观判断得到，比较常用的是德尔菲法和层次分析法；客观赋权法是直接根据各个指标的原始信息用数学方法处理后获得权数，比较常用的主要有变异系数法、相关系数法和熵值法等；组合赋权法是一种综合主、客观复权结果的复合型赋权方法，又可分为乘法合成的归一化方法和线性加权组合法。主观赋权法的主观性、透明性和再现性较差；客观赋权法的权数客观性较强，但有时会与实际相悖，使评价者感到困惑；而组合赋权法既能体现专家的主观意向，又能体现指标实际评价值中所反映的客观特性，较好地避免了单一赋权法的局限性。

（三）获取评价数据

在建立评价指标体系和确定权重系数后，就应通过各种途径收集评价所需的数据，按渠道来源方式可分为直接获取和间接获取两种。

直接获取数据主要是通过调查的方式进行，由研究人员根据评价需要，自行选择调查对象进行调查。常用的调查方法有面对面调查法、电话调查法、邮寄调查法和网络调查法等。无论采取哪种调查方式，一般都要经过问卷设计、问卷发放、问卷回收、问卷统计、问卷分析及问卷检验等步骤。

间接获取数据的途径主要是通过文献检索的方式进行。文献资源分布广泛，信息量巨大，主要存储在有关文献保存部门，如图书馆、情报中心等。文献检索的方法比较多，常用的主要有直接检索法、引文法和工具法等。直接检索法主要是从原始文献中提取所需文献；引文法一般以最新发表的文章及其参考文献为线索，由近及远，进行逐一跟踪；工具法就是通过检索工具（如书目、索引、文摘、工具书以及各类年鉴等）和互联网络的搜索引擎等来查找文献，工具法是文献检索的最主要方法。

在实际的绩效评价工作中，由于评价对象的特殊性和唯一性，通过文献检索的方式获取所需数据较为困难，少数可以通过各类年鉴查询得到，大多数情况下还是要通过社会调查的方式来获取。本书的研究对象是国家科技奖励制度的运行绩效，部分数据可从《中国科学技术奖励年鉴》及国家科技奖励工作办公室获得，其他数据都要通过问卷调查方式获取。

（四）科学选择评价方法

选择科学的评价方法对评价对象进行评价是运行绩效评价工作中的关键环节，下文对此部分内容单独进行详细论述。

二 运行绩效评价的常用方法及模型

运行绩效评价的常用方法可分为定性评价法、定量评价法以及定性与定量相结合法等三种类型。

（一）定性评价法

常用的定性评价法主要有同行评议法、维度测评法和德尔菲法等。

（1）同行评议法。这是由从事某一领域或接近该领域研究的专家来评定一项研究工作的学术水平或重要性的一种方法，它要求专家在评价其同行的研究工作时，仅仅以学术价值为最重要的评议标准，并且独立地作出判断，在评议中不受其他因素的干扰和影响。

（2）维度测评法（又称为“360度绩效评价法”）。维度是对评价范围的类型进行划分，规定了评价的基本向度，通过维度区分，使评价层面更加条理化，评价指标更具有可比性。

（3）德尔菲法。德尔菲法本质上是一种反馈匿名函询法，首先对所要预测的问题征求专家的意见，进行整理、归纳、统计后再匿名反馈给各专家，然后再征求意见并进行整理、归纳、统计，之后再反馈给各专家，直至得到稳定的意见。德尔菲法简便易行，具有一定的科学性和实用性，但也存在一些弊端。由于预测主要依靠专家，仍属专家们的集体主观判断，专家个人不能真正独立地作出决策。

在对国家科技奖励制度的运行绩效进行评价时，要充分考虑同行专家的意见，在确定有关评价指标的权重时，也要运用德尔菲法，由相关专家反复决策，获取合理权重系数。

（二）定量评价法

在运行绩效评价的实践中，常用的定量分析法有十余种，这些方法各具特色，又各有不足之处，尚没有能够满足绩效评价所有要求的方法。在此仅对与本书相关的文献计量法、人工神经网络法、模糊综合评判法、层次分析法以及数据包络分析法等定量评价法进行简单的介绍。

（1）文献计量法。在对国家科技奖励制度的运行绩效进行评价时，科技奖励的产出是一组重要的评价指标，对此需要用文献计量法进行评价。以文献为主要研究对象，采用数学和统计学方法对文献进行定量分析，通过分析特定专题文献的分布与数量增长情况、数量与时间的关系、文献之间的引用情况等，研究文献的变化规律，从而探讨科研的某些结构、特征和规律，由此产生了用文献计量学研究方法对科研活动进行评价的可行性和可能性。文献计量法的评价指标主要有论文（专著）的数量与分布、专利的数目；论文的引证情况、引用率、平均被引用次数、被检索收录情况等。本书着重探讨文献增长规律、引文分析、期刊影响因子等几个方面的问题，从而对科技奖励的文献产出进行定量评价。

（2）人工神经网络评价法。在运行绩效评价中，目标属性间的关系大多为非线性关系，一般的方法很难描述评价方案各目标间的相互关系，更无法用定量关系来表达它们之间的权重分配，只能提供各目标的属性特征，以及同类方案以往的评价结构。人工神经网络方法是利用已有方案及其评价结果，通过学习从典型案例中提取所包含的一般原则，且对不完整信息进行补全，结合所给新方案的特征，对方案直接作出评价。神经网络的非线性处理能力存在于信息含糊、不完整、矛盾等复杂环境中，它所具有的自学习能力使得传统的专家系统最感困难的知识获取工作转化为网络的变结构调整过程，从而大大方便了知识的记忆和提取。因此，神经网络既有专家系统的作用，又具有比传统专家更优越的性能。

（3）模糊综合评判法。模糊数学的出现，给运行绩效评价中那些复杂的、难以用精确的数学描述的问题带来了方便而又简单的解决方法。模糊综合评判法是以模糊数学为基础，应用模糊关系合成的原理，将一些边界不清、不易定量的因素定量化，利用多个因素对被评价事物隶属等级状况进行综合性评价的一种方法。综合评判对评判对象的全体，根据所给的条件，给每个对象赋予一个非负实数——评判指标，再据此排序择优。模糊综合评判法的数学模型简单，容易掌握，对多因素、多层次的复杂问题评判效果比较好，是别的数学分支和模型难以替代的方法。这种模型应用广泛，在许多方面采用模糊综合评判法的实用模型取得了很好的经济效益和社会效益。

（4）层次分析法（Analytic Hierarchy Process, AHP）。层次分析法是确定评价指标权重最常用的有效方法之一，其核心思想是通过对复杂的评价对象进行分层分析，把评价对象按照目标层、准则层、方案层的顺序进行逐步分解。然后通过计算判断矩阵的特征向量，看是否通过一致性检验，最终求出最底层（评价指标）相对于最高层（评价总目标）的相对重要性，从而对最底层各元素进行优劣等级的排序。其基本思路可用下图表示。

（5）数据包络分析法（Data Envelopment Analysis, DEA）。DEA评价法是一种以相对效率概念为基础，用于评价具有相同类型的多投入、多产出的决策单元是否技术有效的非参数统计方法。其核心思想是把每一被评价对象作为一个决策单元（Decision Making Units, DMU），再由众多DMU构成被评价群体，通过对投入和产出比率的综合分析，以DMU的各个投入和产出指标的权重为变量进行评价运算，从而确定每个评价对象的有效性，并根据各DMU与有效生产前沿面的距离状况，确定各DMU是否对DEA有效，同时还可用投影方法指出非DEA有效或弱DEA有效DMU的原因及应改进的方向和程度。

本书将层次分析法（AHP）和数据包络分析法（DEA）的C2R模型进行融合及改进，设计出AC2R评价模型对国家科技奖励制度的运行绩效进行评价。

（三）定性与定量结合法

定性评价法要求评价者具备相关知识和经验，定量评价法则要求大量安全可靠的数据。单纯的定性分析容易造成研究的肤浅；而有关数据的不完善，也使得定量评价法难以得到有效应用和检验。因此，结合定性和定量的方法进行系统分析和评价，可以弥补单纯定性分析和单纯定量分析所产生的不足。定性与定量评价相结合的评价方法就是在运行绩效评价过程中同时采用定性与定量的方法，对定性评价和量化评价结果进行综合分析而得出结论。