专题研讨
社会科学研究:实验、复制与中国学者的使命
科学研究旨在发现规律并予以证明。尽管所发现的规律Y=F(X)并予以证明在自然界和人类社会有着不同的特点,但按照唯物主义的观点,如世界是物质的、物质是运动的、运动是有规律的、而规律是可以为人们所认识的,我们总可以不断努力发现特定规律并且证明,尽管这个过程在不同历史时期可能需要不同的时间、不同的方法、不同的数据来源等。既然要证明,那就意味着每个研究都需要考虑是否可以被复制。
改革开放40年来,中国社会科学得以迅猛发展。各个学科的国际顶级刊物也出现越来越多的中国学者的论文,国际学术会议也越来越多在中国举行。毫无疑问,国际社会科学研究的中国声音正在积极唱响!就国内发表而言,据不完全统计,代表中国社会科学研究较高水平的CSSCI来源文献数量在2009年已近百万,来源期刊数超过500本,涵盖社会学科的不同领域。然而,对于特定研究是否可以复制的关注却亟待提升。
近期的文献梳理表明,已有关注主要包括:①对科研成果出版物质量的担忧,指出现有期刊论文不可被重复验证的问题(吴小康,2014;胡传鹏等,2016;黄小茹,2017); ②研究方法的探讨,比如对单一实验效度的质疑(杜晓新, 2002),提出实验方法的复制性和可控性优势(周星、林清胜,2004;孙慧荣, 2007); ③少数几项复制实验(蔡建红,1999;任衍具等,2007;廖飞等,2010)。涉及学科以心理学为主,其余还包括经济学、社会学、管理学等。陈云松和吴晓刚(2012)以定量分析技术的视角,初次较为系统地倡导了社会科学中的“复制性研究”。
笔者本科和硕士期间从事的是电子工程学科的离子源研究,在导师指导下,那时我们做了一个又一个实验,总结出特定类型离子源的最佳参数并制造出来提交给用户。很明显,基于大量重复与非重复实验的研究使我们产品性能稳定,而我们的实验内容与结果也发表在美国物理学会的期刊上与同行分享(尽管某些关键参数作为技术诀窍我们并未分享)。1999年,笔者在Syracuse大学做博士后,所接触到的第一个研究就是实验研究,2008年,笔者和Richard Walker教授多次讨论公共管理领域的实验研究,2010年我们也尝试做了社会认同、公共服务动机与合作的实验,但在回应评阅人意见、修改论文的过程中,经历了若干波折,曾经一度考虑以真实的公务员为对象重做当时的实验。
2014年5月,Richard Walker教授成立了香港城市大学公共管理证据实验室(Public Management Evidence Lab),作为该实验室国际理事会理事,我参加其年会并参与其中的一些工作。得益于实验研究良好的“可被重复操作性”,以Richard Walker 教授为代表的一批学者选择了实验研究作为复制的载体,并在复制实验研究中取得了重要进展,如Public Management Review 期刊在2017年第9期上专门刊载了8篇复制实验研究,2017年开始组织香港、首尔、上海、哥本哈根等十余个城市的学者进行复制实验研究,并于2018年1月在首尔召开了研讨会,交流初步研究结果。
2018年是中国极为重要的一年,这一年中国的改革开放整整40年了!在我们回顾中国改革开放40年的同时,也得回顾中国哲学社会科学的40年研究。作为中国科学学与科技政策研究会青年工作委员会(简称“青工委”)的负责人,我和来自不同学科青工委的同事们将复制研究作为2018年的重要工作之一,特别是从较容易组织实施的翻译工作开始。通过梳理我们发现,即便是国际社会科学界,不同学科对于复制研究的认识也并不相同;而且,复制研究并不局限于实验研究,很多学科都关注研究的可复制性和复制研究。
本期第二篇文章是由中国人民大学公共管理学院马亮副教授与他的学生所作。他们对两项不同来源的公共服务满意度调查数据进行了横纵比较。基于A大学和B机构4年公众满意度评价的横向比较与各自每年评价情况的纵向比较,这篇文章探讨了第三方公共服务绩效评估研究的有效性,反映了同一研究者在不同时间以及不同研究者在相同时间所从事研究的可重复性。
第三篇是刘遥博士生和我翻译的发表在Public Administration Review上的一篇实验研究论文,探讨的是公共组织和私人组织感知绩效的问题,分析“公共性”(Publicness)对公众组织感知绩效评价的影响。该实验已在上海、香港、首尔、哥本哈根等十余个城市复制,目前正在分析数据、进行整体和局部的论文撰写,期待不远的将来与读者分享。
第四篇文章是谢恩教授翻译的Replication and theory development in organizational science:a critical realist perspective一文,这篇文章以批判实在论的视角,探讨了组织科学中的可复制性问题以及可复制性检验对该领域理论发展的重要作用。论文首先从批判实在论的视角回应了社会科学不可复制的问题;其次给出了复制的六个类别,阐释了可复制性检验对理论发展具有拟合与预测、证实与证伪的重要作用;论文还通过复制性研究与创新性研究的对比指出,虽然创新性研究看上去比可重复性检验更具理论魅力,而后者对于理论发展也是不可或缺的;论文最后指出复制研究将有助于建立具有更牢固基础的长效知识积累机制。
第五篇文章是朱春奎教授与他的团队翻译的Replication standards for quantitative social science:Why not sociology?探讨了定量社会学研究中的复制标准。这篇文章始于对越来越复杂的定量研究可复制性的担忧,主张社会学在文章发表时,要建立在线数据库,公开尽可能多的数据信息,以便其他研究者能检验已发表成果的可复制性。文中还比较了经济学相对社会学论文发表时信息公开方面的优势,指出应当让社会学研究者意识到公开必要信息是优秀期刊发表其投稿的必要代价。
第六篇文章是阎波副教授和他的团队翻译的Replication, experiments and knowledge in public management research,探讨了公共管理领域中实验研究的复制问题。这篇文章梳理了近年来国际顶级公共管理期刊上发表的实验研究,采用测量与分析核查、数据再分析、精确型复制、概念型复制、经验一般化和推广扩展等六项分类对这些文章所进行的实验复制进行分析,指出不同类型复制具有不同研究目的,阐述了不同类型复制的方法和准则。
第七篇是孟凡蓉副教授及其学生翻译的Priming, replication, and the hardest science,主要探讨了心理学中启动效应的复制问题。论文指出心理学领域已越来越多地关注研究结果的可复制性和稳健性,并以启动效应为例来分析复制的本质以及它与心理科学的关系,指出复制的重要性不是体现在它自身,而在于它代表所产生的知识能被社会验证。论文也指出失败的复制研究可能是由多种因素导致的,对复制结果的过高期望是不合理的。
第八篇是孟天广副教授与其合作者翻译了Gary King在1995年发表的Replication, replication,探讨了经验政治科学中的复制问题。这篇论文首先指出复现的标准就是有足够的信息来理解、评估和信赖既有研究,以使第三方可以不借助任何来自作者的额外信息,即复现其结果。论文还强调复现标准应当同等地适用于定量和定性研究。然而,当前的学术规范却不鼓励复制研究,据此,文章最后对教师、学生、论文写作者、研究生、作者、评审人、资助机构以及期刊和书籍编辑们提出了一些建议。
复制(replication)对现有社会科学研究体系提出了一个重大挑战,以往实证分析中的纰漏都会一个个显现出来。但这也是一个大好时机,我们可以借此机会进一步规范实证研究,增强研究结果的信度和效度,并在复制的过程中发现新理论、新知识,共同推进中国社科研究的“科学化”进程!
对于中国学者而言,在改革开放40年之际,开始关注复制研究是一个重要的开始。这首先意味着中国学者应该直面中国社会发展存在的诸多问题,基于现实的观察、抽象,形成基于中国实践的概念、命题与假设,在中国的这个最具变化的时代,以现代科学技术的各种方法手段,对中国的Y=F(X)进行证明;在此过程中,要特别关注中国地域辽阔、差异较大的效应,在发现和验证中国理论的基础上,进一步考虑谋划超越国界的比较研究,探索中国研究成果的可复制性,形成中国特色社会科学理论!
参考文献
蔡建红.中国人印象形成中核心品质研究方法初探[J].江西师范大学学报(哲学社会科学版),1999(1):43-47.
陈云松,吴晓刚.走向开源的社会学 定量分析中的复制性研究[J].社会, 2012,32(3):1-23.
杜晓新.单一被试实验研究中的效度问题[J].中国特殊教育,2002(3):21-24.
胡传鹏,王非,过继成思,等.心理学研究中的可重复性问题:从危机到契机[J].心理科学进展,2016,24(9):1504-1518.
黄小茹.科研成果不可验证性问题——发现机制的失效及可能的对策[J].科学学研究,2017,35(7):961-966.
廖飞,茅宁,刘文娟.不确定下的管理者期权思维:一个基于复制实验的探讨[J].现代管理科学,2010(1):90-93.
任衍具,禤宇明,傅小兰.编码时间对序列视觉信息整合的影响[J].心理科学,2007,30(5):1077-1080.
孙慧荣.实验经济学的研究方法与应用[J].商场现代化,2007(27):393-393.
吴小康.可复制性与经验研究的透明化[J].经济学动态,2014(10):121-129.
周星,林清胜.交叉学科研究的典范:实验经济学和行为经济学[J].经济学家,2004(3):85-90.