大数据基础与应用
上QQ阅读APP看书,第一时间看更新

2.7 本章小结

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:高可靠性、高扩展性、高效性、高容错性、低成本。在Hadoop中,最核心的结构是HDFS和MapReduce。

本章介绍了HDFS和MapReduce的体系结构。HDFS是一个主/从(Mater/Slave)体系结构,其中有两类节点,一类是元数据节点NameNode,另一类是数据节点DataNode。两类节点分别承担Master和Worker具体任务的执行节点。MapReduce包含4个组成部分,分别为Client、Job Tracker、Task Tracker和Task,同时本章也简单介绍了Hadoop其他的组件。