数据分析方法及应用:基于SPSS和EXCEL环境
上QQ阅读APP看书,第一时间看更新

1.1.2 数据分析能力培养的意义

1.数据分析是大数据时代各行业和学科发展的迫切要求

管理信息化、教育信息化、企业现代化的快速发展,促使各行各业在近十年都出现了极大的、极快的数据积累。不论在商业贸易领域,还是在经济建设领域、教育领域,都积累了海量数据。如何充分地利用这些数据,从中总结出规律,为下一步的决策提供依据,或者依据数据分析实现智能化的数据推送,已经成为社会科学的重要研究领域。基于这一需求而快速发展的数据建模技术、数据挖掘技术已经成长为计算机科学的重要应用领域,也是管理与决策的重要依据。

不同学科所形成的科学研究方法在学科自身发展的推动下迅速发展,在计算机科学与技术的支持下,自然科学研究的主流研究方法范式——面向实证研究的量化数据处理,发展出了一整套形式语言理论、编译理论、检验理论以及优化理论。而人文社会科学研究的主流研究方法范式——思辨研究质性分析,则受到了计算机科学和数据处理理论的冲击,从基本文本分析到语义分析、语料分析处理,也都能借助计算机将原本只有人工才能分析的复杂内容机器化、形式化和程序化,并借助数据处理的理论和方法获得可信度更高的研究结论。由于研究者群体开展研究活动时所遵从的一系列规范的结构性组合是针对“问题域”本身的,当数据分析方法作为工具和技术所承载的方法论属性渗透进来后,它将超越学科疆域的研究“规则和框架”,成为跨学科的研究范式。数据分析的理念和模式必将对相关学科的研究方法体系产生重要影响,甚至从根本上改变其原有的研究范式。

尽管在计算机类公共课程中直接讨论数据挖掘和数据分析技术的原理和算法会存在困难,但是,如果只是把数据建模和数据挖掘技术的概念、方法和工具介绍给学生,允许学生在借用数据建模和数据挖掘的现有工具时不必详细掌握其内部的算法结构,只需了解每个工具的输入、输出及其参数规范,让学生逐步具备准确地使用数据分析工具并解读数据分析结果的能力,还是完全可行的。如果做到了这一点,我们的学生们在参与社科类的科研活动时就能借助这些工具开展数据分析并能根据分析结果获得比较准确的量化结论。与此同时,也一定能够拓展学生的解题方法,使研究的科学性、严谨性都能得到很大的提升,从而优化其思维方式,促进其科研能力的发展。

从另一个视角看,计算机科学的发展和大数据时代对数据分析的迫切需求,促生了许多数据统计分析软件,诸如 SPSS、SAS 等。正是诸多专业的数据分析软件的出现,使数据分析和数据挖掘技术的门槛进一步降低。诸如相关性分析、差异显著性检验(T-检验与方差分析)、归因分析、聚类分析(降维分析)、信度效度检验等算法已经成为人文科学研究中的基本方法。目前,专业化的数据分析不再是统计学专业人士的专利,教育学、经济学、心理学、社会学等人文学科专业的研究人员都应该能通过数据分析软件实现专业水准的定量分析。事实上,随着定量研究法的普及,许多定量分析算法已经被集成到了常规的办公软件中(例如 Excel 中就集成了大量的数据分析模块),使定量研究中所需的数据分析算法也不再神秘。

2.数据分析能力发展已经成为当代社会人才培养的重要战略目标

随着数据分析与数据挖掘技术的日益普及,建立在数据分析和计算科学基础上的研究方法也逐步向诸多学科渗透,已经有越来越多的学者认识到计算科学在基础理论研究、社会发展和人才培养中的价值,于是计算思维的概念与理论应运而生。

(1)计算思维的概念及其价值

计算机和网络技术日益普及,计算机中的思维方式、解决问题的方法已经逐渐向其他领域渗透,并影响了其他学科,促进了相关学科的发展,甚至形成了一些交叉学科。因此,计算机技术已经不仅仅是一种工具,而是逐步演化成为了一种思维习惯。也就是说,人们在学习和应用计算机的过程中,已经自觉或者不自觉地使用着计算机科学中的思维方式、技术手段,在以计算机处理问题的过程中蕴含着方法论。并在此基础上,逐步拓展了其他学科的研究方法和内容体系,丰富和深化了其他学科的研究范畴。李廉教授指出:自然问题和社会问题内部就蕴含着丰富的属于计算的演化规律,这些演化规律伴随着物质的变化、能量的变化和信息的变换而发展。因此正确地提取这些信息变换,并通过恰当的方式表达出来,使之成为可以被计算机处理的形式,就是基于计算思维概念的基本原理和方法论。

与其他学科相比,计算科学、数据处理科学的最大不同就是突破了学科范式的限制,渗透到了各个学科乃至于推向其前沿,形成了一套有效的思维模式——计算思维,促使学科走向范式多元化,因此,没有哪个学科有如此广泛的研究领域和实践范畴。未来人才的计算思维能力、数据处理水平将对他们从事科研的能力、适应社会的能力具有重要影响。

在大数据时代,数据处理与分析的方法和策略是计算思维的重要组成部分,对学习者科研能力的提升具有重要意义。

(2)计算思维能力培养引起了各方面的重视

计算机技术、网络技术、数据处理技术三者的快速发展,促成了计算思维概念。当前,计算思维的重要作用已引起了中国学者与美国学者的共同注意。2010年7月19日~20日,国内著名的9所高校在西安交通大学举办了“九校联盟计算机基础课课程研讨会”,由陈国良院士做了“计算思维能力研究培养”的报告,强调了“计算思维”能力培养在当前大学计算机基础课教学中的重要意义,强调了计算科学中的思维方式、操作方法对现代化人才培养的重要价值,为新时期大学计算机基础课教学指明了方向。

在教育部高等学校计算机课程教学指导委员会的推动下,教育部高教司于2012年启动了“以计算思维为导向的大学计算机基础课程”教改立项工作,共有22个项目同时获得教育部立项,标志着以计算思维为导向的大学计算机培养模式正式启动。至此,计算思维能力的培养已经正式列入国内高校计算机基础课教学计划,成为新世纪人才培养的核心内容。

(3)数据分析与处理技术计算思维的核心内容

数据分析与处理技术是计算思维的核心内容,在人才培养中具备开展普遍教育的必要性和可能性。

在计算思维的概念中,建立在计算机和网络技术基础上的“计算”是其核心,在其中起着引导作用的计算方法则是计算思维的灵魂,而数据分析与数据挖掘的相关技术则在其中起着骨架与脊梁的作用,在诸多领域都发挥着重要影响,进而对相关领域的后备人才培养方案都提出了相应的新要求。

从计算思维能力培养的内含看,计算思维的内容博大精深,针对不同层次、不同专业的人才,应该有不同的培养目标和培养模式。因此,在大学计算机教育中,应该分层、分类开展计算思维能力的培养。然而,作为计算思维核心内容的数据分析与处理技术,则随着大数据时代的来临而面临着普遍性的需求。这是由于随着大数据时代的来临,每一个科研工作者都不能回避大数据的冲击,在他们开展研究活动的过程中,都或多或少地需要借助数据分析与数据挖掘的相关技术。

3.基于数据分析的定量研究方法能改变科研人员的思维方式,促进学科融合

在人文科学的研究中,传统的研究以质性研究法为主。如果想基于数据开展量化研究,则需要以统计学、数据分析的理论为基础,通过大量的数据计算分析数据之间的相关性、差异性,甚至包括归因分析、聚类分析(降维分析)等,才能获得研究结论。在计算机科学和数据分析软件真正地普及以前,基于大量的调查数据开展统计与分析是一项计算量很大的工作,而且要求研究者精确地了解统计学的基本理论、掌握每个数据分析算法的机理和规范。因此,彼时对定量研究者的要求非常高。然而随着专业化的数据分析软件的普及,借助数据分析工具开展定量研究已经成为很多文科科研人员的常规研究方法。目前,对多数从事人文科学研究的科研人员来讲,SPSS和SAS中的各类数据分析工具就像一个只有“输入”和“输出”的“黑匣子”,在开展定量研究的过程中,不需要了解黑匣子的内部结构,只需要能精确地掌握其输入数据和各项参数,并解读其各类输出结果所代表的具体含义,就能够很好地使用它们。

尽管基于数据分析软件的定量研究过程并没有专门要求其用户在计算机操作和数据分析原理方面具备有多深的水平,然而研究发现:很多从事人文科学研究的人员在多次利用定量分析工具开展实证性研究后,其思维习惯和解决问题的方法都有了很大变化,在论证的严谨性、对数据的应用方法等层面,都比以前有了很大的提高,反映了数据分析工具对人们思维方式所产生的重要影响。与此同时,在基于数据分析工具开展研究的过程中,不同学科的科研人员由于使用了相同的研究工具,使他们在一定程度上有了共同的研究语境,促进了学科间的融合和研究成果的分享。