大数据挖掘技术与应用
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

1.4 大数据发展历程

至今,人类社会经历过两次“数据爆炸”。东汉元兴元年(公元105年)宦官蔡伦改进造纸术,以及北宋庆历时期(1041—1048年)民间艺人毕昇发明活字印刷术,使得图书进入了普通百姓家,从而引发了第一次“数据爆炸”,其在世界文明发展进程中所起的作用不可估量。今天,大数据技术引发了更大规模的第二次“数据爆炸”,它正在悄然影响和改变着社会的方方面面。

20多年的大数据发展可以划分成如下3个阶段。

1. 萌芽阶段

20世纪90年代,随着数据挖掘理论和数据库技术的逐步成熟,一批商业智能工具和知识管理技术开始应用,如数据仓库、专家系统、知识管理系统等。这个阶段的数据基本上是系统营运数据。

2. 成熟阶段

21世纪的最初10年,Web2.0应用迅猛发展,非结构化数据大量产生,传统处理方法难以应对,从而带动了大数据技术的快速发展,Hadoop平台开始大行其道。这个阶段的数据基本上是用户输入数据。

3. 大规模应用阶段

2010年至今,大数据应用渗透到各行各业,数据驱动决策,信息社会智能化程度大幅度提高。这个阶段的数据增加了大量的传感器数据。

目前,人类社会已进入大数据时代,数据资源已经与物资资源、人力资源平起平坐,成为三大国家战略资源之一。2012年,美国政府发布《大数据研究和发展计划》;2015年,中国国务院发布《促进大数据发展行动纲要》。