第1章
大数据时代

从上世纪开始，政府和各行各业（如医疗、互联网、金融、电信）的信息化得到了迅速发展，积累了海量数据。在这些数据当中，87%以上都是非结构化数据。虽然国内的各类数据中心已经有足够的硬件设施来存储这些数据，但是，如何让这些海量数据产生最大的商业价值，是目前面临的挑战之一。还有，由于数据的增长速度越来越快，数据量越来越大，传统的数据库或数据仓库很难存储、管理、查询和分析这些数据，如何在软件层面实现PB级乃至ZB级的海量数据的分布式存储和分析是目前面临的挑战之二。面对这两大挑战，大数据（Big Data）的概念及其技术就因应而生，并在解决这两大挑战的过程中不断发展和完善。

大数据不是一项单一的技术和孤立的概念，而是一套技术和整体的概念，它更是一个生态圈。大数据技术及其专业术语多达几百个，记录了大数据从炒作到成熟并进入主流应用的整个过程。数据科学家、预测分析、开放政府数据，都属于大数据范畴。大数据技术也逐渐变得越来越复杂。政府和企业希望从自己的数据中获得更多的信息，软件厂商希望将“大数据解决方案”融入到公司的产品之中，云计算平台希望将大数据作为一种服务提供给客户。在大数据软件公司的助推下，政府和企业已经有能力利用廉价的服务器、开源技术和云计算来进行开销不大的大数据部署。