2.1 Hadoop简介

中国进入大数据风起云涌的时代，而以Hadoop为代表的一系列软件占据大数据处理的地盘。Hadoop也从小众领域，变成了大数据开发的标准之一，甚至在Hadoop原有技术基础之上，出现了Hadoop家族产品。Hadoop在大数据技术体系中的地位至关重要，可以说Hadoop是大数据技术的基础，要想在大数据技术道路上越走越远，必须扎实掌握Hadoop基础知识。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，能够十分便利地利用集群的强大能力进行程序运算，解决高可用问题。

Hadoop框架最核心的设计就是：HDFS和MapReduce。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System，HDFS）。HDFS有高容错性特点，并且设计用来部署在低廉的硬件上。它为海量的数据提供了存储，而MapReduce为海量的数据提供了计算。