1.3 研究内容与方法
1.3.1 概念界定
1.农业科技项目
文中的农业科技项目是科技部农业领域科技计划项目。依照科技部农村技术开发中心项目管理的规范,又将其分为:以关键技术突破为目标的应用基础项目;以技术集成应用为目标的应用开发项目;以技术产业化示范推广为目标的产业化开发项目。其中,应用基础项目是揭示自然发展一般规律的科学项目,其价值导向主要表现在科学价值方面,通常以新发现、新概念、新理论和新方法等原始创新性成果作为此类项目的评价标准。而应用开发研究主要解决的是社会经济中的科学问题,其价值导向主要体现在科学价值与社会价值。产业化开发项目则旨在解决科技、经济、社会发展中的技术问题,其价值导向体现在技术价值与经济价值,评价目标是加速产业化形成、促进技术成果转化。本书对这三类项目设计了调查问卷,由于在其重要性上的差异,在研究时也分别构建了评价指标与主观权重。
2.立项评价
本书中的立项评价是相对于项目的中期检查与结项绩效评价而言的。立项评价不同于中期检查与结项绩效评价。对所有科技项目的立项评价来说,由于项目研究尚未正式开始,评审专家主要是通过申请书的内容对其进行评价。由于农业科技项目往往具有超前性、探索性、隐含性和不可预知性,对其进行有效的事前评估较之项目的中期检查和结项绩效评价,不论是在内容上还是形式上都更为复杂、困难。
3.创新性评价
本书中评价的目的是在立项阶段选拔出具有创新性的农业科技项目,这其中包括以下两个方面的内容:一方面立项项目需符合立项评审中对于科技项目的目标要求,即从项目的学术意义、科学和社会价值、技术路线、研究队伍的科研能力以及工作基础和研究条件等方面做出基本评价;另一方面还要针对项目研究的创新需求、创新模式、创新条件以及可能取得的创新成果等建立有关项目创新性的评价指标。为了简洁易懂,本书正文中将基于创新视角的农业科技项目立项评价简称为农业科技项目的创新性评价。
1.3.2 研究内容
本书以农业科技创新过程为逻辑起点,通过对国家农业科技项目申请书中农业科技创新活动的案例研究和对部分项目负责人及评审专家的深度访谈,分别提出应用基础项目、应用开发项目和产业化开发项目的创新性评价指标(初始);以问卷调查的方式取得数据,并进行数理统计和运筹学等量化分析,从而确定评价指标及其权重。在各指标重要性得分的基础上,运用层次分析法得到各指标的主观权重;由专家对具体的样本项目按照指标打分后,运用熵值法得到各指标的客观权重。以多属性决策理论为依据,在得到主客观组合赋权后,选择适合立项评价的综合评价方法,在得到多个单一的综合评价方法后将其进行组合评价,并得到最终的评价结果。
1.项目创新性评价指标选择研究
(1)在对农业科技创新与立项评价等相关理论的梳理与总结基础上,结合具有较强创新性的入库项目申请书、结项书进行案例分析,初步提出创新性评价指标。
(2)通过专家访谈(项目评审专家、项目负责人、科技部科技评估中心等),进一步调整创新性评价指标要素,尽可能使评价指标全面、准确地反映农业科技项目的可行性与创新度。
(3)设计立项阶段的创新性评价指标调查问卷,将专家打分数据通过结构方程模型对指标进行验证性因子分析,并完成指标的分类与删减。按项目类别得到能够反映出项目创新活动全过程的最终创新性评价指标。
2.项目创新性评价指标的因子分析
(1)通过结构方程模型对三类项目指标进行验证性因子分析,最终得到了由9个一级指标和35个二级指标组成的指标体系。
(2)通过对应用基础项目、应用开发项目、产业化开发项目的有关创新模式、创新需求、投入产出等指标重要性的比较,归纳总结各类项目的创新需求、创新模式、思路设计与实际科研活动之间相互关系的特点。
3.项目创新性评价指标权重与组合赋权法研究
(1)根据专家对评价指标重要性的打分,以层次分析法为理论基础,通过MATLAB程序设计得到面向指标的权重(主观权重)。
(2)以应用开发项目为例,请专家对申请书样本按已得到的指标进行评价,通过熵值法统计量化得到面向实际申请书样本的权重(客观权重)。
(3)以应用开发项目为例,在得到层次分析法和熵值法的权重基础上,提出层次-熵值分层组合赋权法,并与较为成熟的离差最大化组合赋权法进行了比较。
4.项目创新性评价方法与组合评价研究
(1)基于两种不同的组合赋权权重,通过层次分析法、熵值法、组合赋权法、TOPSIS法和模糊综合评价法五种评价方法得到两组不同的评价结果。
(2)对两组评价结果进行事前一致性检验、组合评价以及事后一致性检验,并得到与单一的综合评价结果相关度最高的组合评价结果,且该结果与实际评价结果一致。
(3)对三类典型情况下的项目(入库待立项、优先立项、未立项)分别进行了灵敏度分析,均未发现逆序现象,且评价结果与实际情况一致,可认为组合评价结果是有效、可行、稳定的。
1.3.3 研究方法
1.文献研究法
首先通过收集、阅读与总结、分析大量的文献,一方面借鉴最新的技术创新相关理论,结合我国农业科技项目创新研究的特点,对农业科技项目的创新性评价指标要素进行规范研究;另一方面针对“十二五”国家科技支撑计划中农业领域科研项目,通过案例分析得到反映项目创新程度的评价指标。
2.调查研究法
在梳理并归纳了相关创新理论的基础上,采用调查研究方法,通过对科技计划项目评审专家与管理者等的访谈,得出创新性评价指标(二级指标);通过对评审专家及项目负责人的问卷调查,得到对于评价指标的重要性打分数据,而后运用统计分析的方法实现对初始的指标删减与分类。
3.统计分析方法
以问卷的形式进行实际调查,分别获取三类项目创新性指标的重要性数据。在尝试使用探索性因子分析后发现其结果不仅脱离了理论,且不符合实际情况。鉴于通过文献研究已较为全面、充分地掌握了创新性评价指标的主要范畴与结构,因此采用验证性因子分析。以筛选出的有效数据样本数建立基于结构方程模型的验证性因子分析模型,对初始指标进行分类与筛选。
(1)描述性统计分析。本研究通过描述性统计分析,得到三类项目在评价指标上的特性。同时也计算各指标的均值和标准差,了解各指标及各类项目在创新性评价上的一般反映。
(2)验证性因子分析。在分析过程中,首先根据前述文献研究的基础设定出各变量之间的关系,然后以理论为基础,依据结构方程模型所提示的修正关系对模型进行调整,一步一步删除不显著的关系,补充新的关系,最终得到被数据支持的评价指标与分类模型。
4.运筹学分析法
运用基于统计学的层次分析法得到面向指标的权重(主观权重),运用基于运筹学的熵值法得到面向实际申请书样本的权重(客观权重),而后对主观客观权重进行了组合赋权法,通过线性(层次分析法、熵值法、组合赋权法)和非线性(TOPSIS法、模糊综合评价法)的五个评价法得到了两组评价结果(基于分层组合赋权法和离差最大化组合赋权法)。
5.比较分析法
(1)对三类科研项目的比较分析。通过对应用基础项目、应用开发项目、产业化开发项目的有关创新模式、创新需求、投入产出等指标重要性的比较,归纳总结各类项目的创新需求、创新模式、思路设计与实际科研活动之间的机理与特点。
(2)对两种赋权方法的比较分析。分别对基于两种组合赋权法得到的两组评价结果进行组合评价,在通过事前、事后一致性检验后,发现两组评价结果具有一致性,因此说,本书提出的层次-熵值分层组合赋权法具有一定的有效性与可操作性。
1.3.4 技术路线
本书的技术路线如图1-1所示。
图1-1 本书的技术路线