2.3.2 单机模式
Hadoop默认模式为非分布式模式(本地模式),不需要进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试,解压Hadoop后就可以直接使用。
(1)创建一个存放本地模式Hadoop的目录。
[Hadoop@bigdata-senior01 modules]$ mkdir/opt/modules/standalone
(2)解压Hadoop文件,代码如图2-11所示。
图2-11 解压Hadoop文件
(3)确保JAVA_HOME 环境变量已经配置好。
[Hadoop@bigdata-senior01 modules]$ echo ${JAVA_HOME}/opt/modules/jdk1.8.0_72
(4)运行MapReduce程序,验证。
这里运行Hadoop自带的MapReduce测试工程,在本地模式下测试wordcount案例。
(5)准备MapReduce输入文件wc.input。
[Hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.inputHadoop mapreduce hivehbase spark stormsqoop Hadoop hivespark Hadoop
(6)运行Hadoop自带的mapreduce Demo工程,对应jar包:hadoop-mapreduce-examples-3.2.2.jar,输入测试案例名称:wordcount,代码如图2-12所示,结果如图2-13所示。
图2-12 运行wordcount案例命令
图2-13 运行wordcount案例结果
从图2-13可以看到Job ID中有local字样,说明是运行在本地模式下的。
(7)查看输出文件,代码及结果如图2-14所示。
图2-14 查看输出文件
在本地模式下,MapReduce 的输出是输出到本地。输出目录中有 _SUCCESS 文件说明Job 运行成功,part-r-00000 是输出结果文件。