第一节 培训评估的对象、内容、原则和方法
一、评估是一种普遍的思维形式
康德说:知识就是判断。包括对事物或事件的质、量、关系和模态的判断。
质是指事物或事件的特性和本质。质的判断就是对事物或事件具有或者不具有某种特性和本质的判断,例如人是能制造工具并使用工具进行劳动的高等动物,自然科学不是上层建筑。量是指事物或事件在空间和时间维度上的存在形式,这些存在形式包括形状、长短、大小、宽窄、高低、多少、疏密、轻重、快慢。量的判断就是对事物或事件存在形式的判断,例如人在地球上有体重,但人到了太空中就失重。关系是指事物与事物之间、事件与事件之间、事物与事件之间关于质或者量的联系。关系的判断例如经济基础决定上层建筑,战争导致油价上涨,事实胜于雄辩,一堆沙子由很多粒沙子组成。模态是指事物或事件的可能性或必然性,以及人的行为的规范性。模态的判断例如明天可能下雨,任何人都会犯错误,人人必须遵守交通规则。
评估就是对事物或事件的质、量、关系和模态的判断。因而,从广义的角度来说,评估就等于知识[1](此处为动词,指认知和识别事实和客观规律的过程)。任何三维时空下的事物和对象都可以被评估,我们无时无刻不在无意识或有意识地进行评估。例如:
(1)这家餐馆的菜很好吃。
(2)这个姑娘比那个姑娘漂亮。
(3)这名中年人是那个小伙儿的父亲。
(4)明天可能会很热。
又例如:
(5)我们按照性格匹配程度、个人发展能力、家庭背景、颜值等标准去找对象。
(6)我们按照行业、公司规模、发展机会、薪酬待遇等尺度去找工作。
(7)我们按照城市文化、发展前景、经济水平、物价情况等依据去选择定居的城市。
由此可知,任何具体的评估行为都是预设标准、尺度、依据或者测量工具,并据此对事物或对象的质、量和模态做测量,以及对事物和事物之间、对象和对象之间的关系做推论,然后下结论的过程,它是人类的一种普遍的思维形式。同义词还有评价、测量、考核、检验等。
评估有两种类型,一种是无目的/目标的评估。例如,我们在与任何人的接触中都会不由自主地在心中做评价“他是一个×××的人”,哪怕这个人跟我们没有任何利益冲突、毫无干系,这种评估是人类本能的反应,上述例子中的(1)(2)(3)(4)都属于无目的/目标的评估。第二种类型是有目的/目标的评估。例如,我们去找一家好吃的饭馆,“找好吃的”就是目的,基于这个目的我们从菜品、口感等维度去定义好吃的标准,上述例子中的(5)(6)(7)都属于有目的/目标的评估,这种评估是人类主观能动性的反应。
二、培训评估及其对象和内容
(一)培训评估及其对象
培训评估是评估的一种,它属于有目的的评估范畴。培训评估是为了达成培训的目的/目标而对培训活动整体的分析与评价,评价的对象涵盖培训需求分析、培训方案设计、培训资源开发、培训活动实施和培训效果评估共5个环节(见图1.1)。
图1.1 培训评估的目的/目标和5个对象
战略和业务触发培训,即战略和业务对人才的培养要求或目标是培训和培训评估的起点,这个起点是企业中任何一个培训项目的输入。基于这个输入,培训管理员依次开展培训需求分析、培训方案设计、培训资源开发、培训活动实施和培训效果评估。但培训管理员并不是机械地、惯性地执行这5个环节,而是应该从人才的培养目标开始,依次检验这5个环节的正确性,即检验需求分析的结果、设计的方案、开发的资源、活动实施的过程、效果测量的结果,从而检验和控制每个环节的质量。这5个检验的整体就是培训评估。以下就人才的培养目标和5个评估做详细阐述。
(二)培训评估的内容
1.人才培养目标的澄清与共识[2]
从战略、业务和公司高层等宏观层面来说,培训的目的/目标就是培养出符合公司需要的人才。这个“符合公司需要的人才”包含两层含义,一是人才质量和数量符合需要,例如基于公司战略要求,今年需要培养出100名区域经理,那么截至今年12月31日,培训部门就得交出100名后备干部,质量要求是把这些后备干部放到区域经理岗位上他们能独立工作,而不是这些后备干部上岗后还需要上一级指导他们如何工作,甚至帮助他们完成工作。二是人才的培养效率符合需要,例如上述100名区域经理的培养周期要求是一年,培训经理对100名后备人员的培养时间就是不超过一年,而不能是一年3个月。
培养符合公司质量、数量要求的人才,且培养效率符合人才需要的时间,是培训最终的目的/目标,具有普遍性。培训工作人员如果认不清这个目的/目标,就会在培训工作中闹笑话,甚至让高层、业务部门认为培训不产生价值。在实际的培训工作中,很多培训管理员把培训的过程和手段当目标,例如,一些培训管理员在年度培训总结时会汇报每年组织了多少场次的培训项目、覆盖了多少名员工、开发了多少门课程、培养了多少名讲师,自认为干了很多活儿、干得很辛苦。可是站在高层或业务需求部门的视角,这些场次的培训项目、覆盖的员工数量、开发的课程、培养的讲师与他们需要的人才又有什么关系呢?培训部门施展了诸多手段,付出了如此辛苦的努力,到底有没有培养出公司需要的人才?如果培训提交给高层和业务需求部门的报告是这样的:“今年我们培养出100名能上岗的中级工程师,用了10个月,比行业平均水平快30天,比历史培养周期快15天。培养这些人我们所花的资源和成本是组织了9场项目、覆盖了120名员工、开发了15门课程、培养了30名讲师,其中开发的15门课程和培养的30名讲师还可以用于下一批次的中级工程师人才培养。”这样的汇报,是不是就把培训工作的结果与公司要求对应上了,同时也展现了培训工作的独特价值。因此,在决定开展一个培训项目前,与业务部门确认、澄清人才的质量、数量和培养效率并达成共识,是培训工作的重中之重、当务之急。
2.对培训需求分析[3]的评估(评估1)
在培训需求分析环节,评估所需要回答的问题是需求分析与业务需求的人才培训目标(质量、数量和效率)是否一致。人才培训的三个目标(质量、数量和效率)中,数量是显性且明确的,在需求分析环节不需要做一致性评估;质量和效率是隐性且模糊的,在需求分析环节要做一致性评估。
关于人才培训质量的一致性评估,具体拆解为3个问题。(1)业务需求的人才培训质量目标是否已经定义明晰。例如某家工程公司培训部门和业务部门一起确定的中级客户经理岗位人才培训质量目标(见表1.1),列明了要胜任该岗就必须能执行4个典型工作任务下的10项工作行为,并产出正确的结果。(2)员工的技能差距是按照业务需求的人才培训质量目标分析的吗?(3)是否挑选了有代表性的样本来做员工技能差距的测量。上述问题中,问题(1)是问题(2)的前提。
表1.1 某公司中级客户经理岗位的人才培训质量目标
实际工作中,关于人才培训效率的一致性评估是比较容易忽略的,培训管理员往往会以年度、员工定岗周期等做参考,制订培训项目周期,但这些培训项目却没有员工成长周期的概念。关于人才培训效率的一致性评估也具体拆解为3个问题:(1)员工当前的成长周期是多少?(2)员工当前的成长周期符合业务部门的需要吗?(3)如果不符合,业务部门期望的员工成长周期是多少?
3.对方案设计的评估(评估2)
在方案设计环节,评估所需要回答的问题是培训方案是否与需求分析的结果相一致,具体拆解为4个问题。(1)学习内容是否全部覆盖员工技能差距所需要的知识,且学习内容不过载。(2)定义的学习目标是否支持员工技能的达成。(3)设计的学习活动是否支持员工达成学习目标。(4)规划的学习时间是否符合业务期望的时间。例如上述公司在需求分析环节分析员工技能差距后发现43名客户经理在分析客户需求这个任务中的第一项和第二项的工作行为执行得比较差,平均分(5分制满分)分别是1.75分、2.13分。因此培训管理员针对这2项工作行为进行了员工的学习内容分析、目标定义,设计了学习活动,规划了学习时间,并邀请业务专家一起通过前述4个问题来检验方案设计的准确性(见表1.2)。
4.对资源开发的评估(评估3)
在资源开发环节,评估所需要回答的问题是学习资源是否与培训方案相一致,具体拆解为2个问题:(1)开发的课程、案例、辅导手册、员工在岗练习实战/模拟题、自学资料、形成性测验[4]的考试题和总结性测验[5]的考试题是否全面地反映了学习内容及其学习目标;(2)讲师是否已经明确了课程、案例里的知识点和课堂的学习活动,带教导师是否明确了辅导手册的知识点和带教任务。
表1.2 某公司方案设计的评估
5.对活动实施的评估(评估4)
在培训活动实施环节,评估所需要回答的问题有2个,一是培训活动计划是否与培训方案相一致,即详细的培训实施计划是否是按照方案中的学习活动安排的,实际的培训活动是否是按照实施计划组织开展的,例如员工完成相应频次的在岗练习了吗,员工形成性测验按照规划的时间开展了吗;二是各个具体的培训活动是否与学习资源相一致,即讲师是否按照课程要求授课、导师是否按照带教要求带教等。
6.对培训效果的评估(评估5)
在培训效果评估环节,评估所需要回答的问题是员工的学习效果评估是否与需求分析及业务需求的人才培训目标(质量、数量、效率)一致,具体展开就是:
(1)员工培训结果满足培训人才质量和数量要求的程度。例如,培训目标是学员胜任岗位的5个工作任务,结果所有学员只胜任4个工作任务,则符合培训目标的员工培训数量达成率[6]为0,所有员工的培训质量达成率为80%。又比如,只有一半的学员胜任了5个工作任务,另外一半的学员胜任4个工作任务,则培训数量的达成率为50%,还有50%的学员的培训质量达成率到了80%。
(2)在相同的培训结果下培训时间的投入程度。例如,培训目标是100名学员胜任了岗位的5个工作任务,李经理在第一年使用培训方案A用了1.5年达成该效果,第二年换了培训方案B用了1年就达成该效果,说明方案B比A的培养效率高。
从上述5个评估,我们发现培训评估不是培训效果评估,前者是整体性的、全面性的,它既包含对培训效果和效率这个培训的最终结果的测量和呈现,也包含为达成这个结果而对培训全过程的评估和控制;后者只是针对培训效果和效率的测量,前者涵盖后者。评估、培训评估、培训效果评估的关系如图1.2所示。
图1.2 评估、培训评估、培训效果评估的关系
三、培训评估的基本原则和方法
(一)保持各环节之间的一致性
依据培训评估5环节的具体内容,我们发现这些环节相互区别,又相互联系。我们在执行培训评估时,一定要区分各环节的差异性。在培训工作中存在两个普遍的现象。一是把需求分析、方案设计与资源开发这3个环节混为一谈。例如在需求分析环节使用课程清单去调研员工的需求,就是混淆了需求分析与方案设计;拿到一个课程主题就做PPT开发,就是混淆了方案设计与资源开发。二是使用学员满意度评估表作为培训效果的测量工具。这是错误的,事实上学员满意度评估是对需求分析、方案设计、资源开发和活动实施的评估,不是对培训效果的评估。
培训评估各环节的相互联系体现在两点:一是培训评估各个环节都服务于最终的目标,即都服务于人才的培养质量、数量和培养效率目标;二是培训各环节中,前一个环节的输出是后一环节的输入,这决定了培训评估每一环节要与前一环节保持一致性,即需求分析结果与战略业务的人才培养需求保持一致,学习内容和学习活动的设计与需求分析结果保持一致,课程、案例、辅导手册、考试题、讲师、带教导师等各种学习资源与培训方案保持一致,活动的组织与培训方案的设计和学习资源的要求保持一致,员工的学习效果与需求分析及业务需求的人才培训目标一致。培训评估的每一个环节与前面的环节保持一致,而不是割裂地对某一个环节进行评估,这就是培训评估的5个一致性。
培训评估的5个一致性中,最容易让人忽视的是需求分析与效果评估环节的一致性,这两个环节所使用的方法、工具必须一致,比如,培训需求分析环节使用了基于岗位典型任务的直接观察法,那么,在培训效果评估环节也必须使用该方法。在培训工作中,由于割裂各环节的联系造成了两个常见的现象:一是方案设计与需求分析脱节,例如需求分析的结果是需要提升员工的某项技能,但方案设计却是给员工培训一系列的课程;二是培训过程各环节重点不清。在实际工作中,初入培训领域的小伙伴经常在需求分析环节草草了事,而花大量精力在培训活动的设计和组织上,这是本末倒置的做法。培训评估各环节的相互联系说明了需求分析决定着方案设计,方案设计决定着资源开发,方案设计和资源开发决定着培训活动的实施。
(二)保证各环节工具的信效度
保持培训评估各环节之间的一致性,是一个总的指导原则,那具体怎么开展各环节的评估呢?这就需要培训评估的第二大原则,保证培训各环节工具的信效度。
1.培训工具的信效度
培训工具的信度是指培训过程各环节所使用的方法、工具的可靠性,即需求分析、方案设计、资源开发、活动实施和效果评估各个环节所使用的方法和工具的稳定性。如果需求分析的方法和工具不可靠,那么按照此方法和工具分析的培训需求结果自然也无法可靠。同理,如果方案设计、资源开发、活动实施和效果评估各环节使用的方法和工具不可靠,又怎么能指望据此方法和工具产出正确的结果呢。
培训工具的效度是指培训过程各环节所使用的方法、工具的有效性,即培训流程5环节所使用的方法和工具的准确性。如果需求分析的方法和工具不准确,那么按照此方法和工具分析的需求结果如何能真实地反映员工的技能短板呢。同理,如果方案设计、资源开发、活动实施和效果评估各环节使用的方法和工具不准确,又怎么能得出正确的培训方案、培训资源、活动的组织和真实的培训效果数据呢。关于信度与效度详见第二章。
2.培训5环节中各工具方法的信效度比较
(1)需求分析环节的信效度
需求分析要与人才培养目标保持一致性,而人才培养目标是最难描述和定义的。究其原因,有两个方面。一是业务部门并不知晓培训的语言,他们描述的是业务需求,例如提升销售业绩、增加新老客户数量、提升客户满意度、缩短客户等待时间等。但业务需求并不等同于培训需求(详见本章第二节),培训管理员首要做的就是将业务需求转化为培训需求,并与业务部门达成一致。二是没有专业的需求分析方法,因为缺乏专业的方法,造成培训部门在与业务部门对话时被业务部门牵着鼻子走,陷在业务语言里。
需求分析的信效度从两个方面来评估:一是分析工具的信效度,二是分析方法的信效度。具有较高信效度的分析工具有工作任务法、工作行为法、与工作行为强相关的学习内容并体现了学习程度的测试题(见第二章第三节)。而能力词典是信效度非常低的分析工具,课程清单是错误的分析工具。能力与任务,前者在没有澄清能力的分类、内容、测量和培养的方法时,呈现出来的是模糊的观念,而后者是事实。用事实与业务部门对话,清晰明了;用观念和业务部门对话,只能是“以其昏昏,使人昭昭”。笔者在咨询业有个朋友,他吐槽说使用某能力词典给客户做需求分析,客户让一遍又一遍地修改,做个需求分析脱一层皮,我打趣儿他“方法不对,努力全费”。
除了分析工具的信效度,还要关注分析方法的信效度。目前培训评估主要使用6种方法:访谈法、问卷法、观察法、文献法、实验法(包含亲身体验和各类测试)、专题讨论法(专家会议)。需求分析常用的是访谈法、问卷法、观察法、专题讨论法,无论使用何种方法,都需要对信息做到去粗取精、去伪存真、由此及彼、由表及里的统计整理、真伪检验、关系辨别。错误的分析工具和分析方法产出的需求分析结论,与员工的真实技能差距较大。
最后,再次强调一下需求分析的重要性,需求分析是培训工作的起点,正确的分析工具和分析方法才能产出正确的员工培训需求,才能正确地指导后续培训其他诸环节。就如毛泽东在《反对本本主义》中所说:调查就像“十月怀胎”,解决问题就像“一朝分娩”,调查就是解决问题。
(2)方案设计环节的信效度
方案设计体现在3个方面,分别是知识分析、学习目标定义和学习方案设计。评估这三者信效度的方法分别是检验知识分析法、学习目标定义法的信效度,以及学习方案设计与知识分析和学习目标定义的一致性情况。
知识分类和学习目标分层见本章第二节“知识的4个类型及其认识过程、认识目标”,知识的4个分类和认识的4个层次符合事实和客观规律,具有较高信效度。错误的知识分类有KSA,见本书第29页“错误的知识‘分类’:KSA”,不知所云的学习目标有机械记忆、与完成任务关联度较低的机械执行,这样学习的人,毛泽东在《改造我们的学习》中借用了明代文学家解缙一个很形象的比喻,如下:
墙上芦苇,头重脚轻根底浅;
山间竹笋,嘴尖皮厚腹中空。
学习方案的设计与知识分析和学习目标保持一致性的具体体现是,每一类知识都有其对应的学习目标,而要达成相应的学习目标,需要对应的学习方法(见表1.3)。
表1.3 知识类型、学习目标和学习活动的对应表
运用上表时,需要注意以下两点。
一是关于学习活动的数量选择。每一种知识类型对应的学习活动是全选,而不是选择一部分。例如针对概念这一知识类型,学习目标是学员理解,学习活动是学员听讲师讲和自己练,而不是只选择讲师面授这一种方式;又例如针对思维工具这一知识点,学习目标是学员运用,学习活动是学员听讲师讲、练习,还要总结和分享。这是一个完整的从感性认识到理性认识,再从理性认识到实践,再从实践深化理解的过程。其中,每一类学习活动中的具体形式可以全选或者部分选择,例如针对概念的学员练习,可以选择是非题练习,也可以选择多选题练习,至于全选还是多选,取决于学员的学习情况,学员基础强,少选一些;学员基础弱,多选一些,直至学员能达成学习目标。
二是关于学习活动的顺序。每一种知识类型在其对应的学习目标下,均包含3种学习活动,分别是学、练、测。学指的是自学和跟学,是建立对知识的感性和理性认识的过程;练指的是实践练习或模拟练习,是实现从理性认识到实践的过程;测指的是测量、检查,是对学员技能习得水平的总结性测验。这3种学习活动中,“测”放在最后,频次上一般组织1~2次即可;“学”和“练”的顺序和频次可以自由安排,例如先练一练,再听讲师讲,再练一练。“学”和“练”的频次依然取决于学员能达成学习目标这个标准。
学习路径图方法论中,针对岗位典型任务的学习,学习目标是让学员能运用四类知识执行任务下的工作行为,对应的是综合学习方案。如表1.4,左边3列依次是职级、典型工作任务和工作行为(包含执行工作行为的知识类型和学习目标)。右边是为达成员工执行工作行为的5种学习方案及学习时间,从下往上依次是员工在第一个月完成各知识点的面授培训,在6个月内完成3次在岗练习且每两月完成1次,在6个月内完成阅读自学相关材料,在第一次和第三次在岗练习时接受导师辅导,在第七个月完成技能习得水平的总结性测验。
表1.4 综合学习方案
(3)资源开发和活动实施环节的信效度
这两个环节都是体力活,不难,但烦琐。重点说明2点:
首先,学员是主体。无论是资源开发,还是活动实施,均以学员“学”为目标,即学员是学习的主体;而不能变成是以“讲师讲”“导师演”“领导秀”等形式的低效活动。
其次,切忌形式主义。由于以“讲师讲”“导师演”等形式的资源容易获得,相比较而言,以“学员学”为目的的模拟练习、实操练习、测试卷、练习题等资源的获取更耗费时间和精力,因此有些培训管理员干脆省略这些,以完成年度的培训项目数量为导向,而不是以培训的质量为导向。这种形式主义对组织、对个人都是一种伤害。
(4)培训效果评估环节
该环节的最基本原则是保持与需求分析的一致性,即需求分析出员工缺啥,最后仍然是检查员工的差距是否弥补。不能是员工缺A,然后用B去检验。更可怕的是不知道员工缺A,然后做了一个学员满意度评估,或者做了一个充满形式主义的学员学习评估和行为评估。
由此可见,保证各环节的信效度需要科学的工具和方法(见表1.5)。信效度是培训评估及培训效果评估的基础,没有信效度,培训效果评估将无从谈起。
表1.5 培训5环节不同信效度的工具、方法