任务实现

（一）大数据的概念

数据是指存储在某种介质上包含信息的物理符号，进入电子时代后，人们生产数据的能力和数量得到飞速的提升，而这些数据的增加促使了大数据的产生。大数据是指无法在一定时间范围内用常规软件工具（IT技术和软硬件工具）进行捕捉、管理、处理的数据集合，对大数据进行分析不仅需要采用集群的方法获取强大的数据分析能力，还需研究面向大数据的新数据分析算法。

针对大数据进行分析的大数据技术，是指为了传送、存储、分析和应用大数据而采用的软件和硬件技术，也可将其看作面向数据的高性能计算系统。从技术层面来看，大数据与云计算的关系密不可分，大数据必须采用分布式架构对海量数据进行分布式数据挖掘，这使它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。