第四节 科技评估的实施

科技评估的实施包括证据收集、证据整理、证据分析、形成结果、撰写报告五个环节。

一、证据收集

评估证据是指用于测量关键评估指标或回答关键评估问题的数据、事实和观点等。证据收集是利用不同证据收集工具从不同来源收集评估证据的过程。证据来源是指所采用证据的出处，如科技活动相关报告、公开发表的文献资料、国家统计报告、利益相关方等。

评估证据应满足真实性、相关性、准确性、可靠性的特征。真实性指评估证据必须是客观存在的，是通过适当方法从现实的渠道收集获得的，而不是人为捏造的。相关性要求评估证据必须与被评的科技活动相关，要从与被评科技活动有关的渠道进行收集。准确性指评估证据必须清晰准确，没有歧义，且不会引起别人误解。可靠性指用来评价相同指标或关键问题的证据可以通过相同方法进行收集并验证，例如，衡量项目研发获得的新材料的强度，可以用相同的检测方法获得强度数据并验证。

二、证据整理

针对关键问题或评估指标进行证据整理。证据整理需要对不同来源的证据进行交叉比对，综合分析研究和采信证据。不能仅仅采信一种倾向、观点的证据，特别是不能仅仅采信对被评估方有利的证据。要综合分析不同观点和来源的证据，要在评估报告中反映得到的不同观点和证据。

三、证据分析

证据分析过程中，定量证据和定性证据要结合使用。定量证据是指用数量表达的各种证据。典型的定量证据包括各种技术参数、技术推广情况、获得经济收益的金额等。定性证据是指反映被评对象质量、性质、水平等的证据，不以数量为表达形式。典型的定性证据包括同行专家关于技术先进性的判断、用户对某项产品的满意度等。

证据分析主要有三种分析方法，即变化分析、归因分析和贡献分析。

变化分析：评估中最常用的分析方法。它分析指标在经过一段时间后是否达到预期值（target）。

归因分析：评价观察到的变化有多大比例是由科技活动实施产生的。它一般通过建立反事实场景（counterfactual scenario）来进行分析。

贡献分析：分析科技活动的实施是否是产生变化的原因之一，或者是否对产生变化发挥了促进作用。

证据分析要注意证据链的完整性、证据之间的关联性，尽量形成完整的证据链，保持证据的逻辑完整，不能自相矛盾。对于有矛盾的关联证据要做出恰当合理的分析，找到原因后再予采信。

四、形成结果

评估结果包括：评估结论、经验教训、问题与建议。

（一）评估结论

评估结论包括被评对象的总体评估结论和评估准则或关键评估问题的结果。形成评估结论一定要有充足的证据支撑。

（二）经验教训

经验教训是指通过评估总结出来的可能有助于开展其他科技活动的信息。通常，经验教训描述科技活动在决策与管理中的优缺点，及其对绩效的影响。总结的经验教训要限于被评的科技活动，有切实的证据支撑，并指出哪些方面是有参考价值的。

（三）问题与建议

针对发现的问题分析其原因并提出相关建议。建议要与评估结论和经验教训联系起来。要具体阐明建议是针对谁提的，应该在什么时候实施，最重要的是要阐明为什么提出这些建议。

五、撰写报告

根据评估形成的结果撰写告。评估报告应客观正确。

六、评估实施的质量要求

评估实施的质量要求体现在以下五个方面。

（1）必须开展评估实施方案中确定的全部评估活动，包括案卷研究、面访、座谈会、实地调研等。

（2）必须按照评估实施方案中计划的时间开展评估。

（3）评估活动应按规范程序开展，面访记录、座谈会记录、实地调研记录等过程文件应清晰、完整。

（4）必须对收集的证据进行整理、核实和确定。

（5）必须形成完整的评估框架。

评估管理者应根据上述要求对评估实施过程进行检查。评估管理者应该保持与评估小组的联系，了解评估活动的进展，必要时还可以参与评估活动，如参与座谈会、实地调研等。如果评估活动没有完全按照评估实施方案实施，不能满足上述要求，评估管理者应该要求评估小组进行改正。如果有的活动确实无法开展，评估管理者应要求评估小组报告其原因及对评价结果可能的影响，并在评估报告中加以说明。