![大数据技术入门(第2版)](https://wfqqreader-1252317822.image.myqcloud.com/cover/475/34752475/b_34752475.jpg)
上QQ阅读APP看书,第一时间看更新
2.9 AWS云平台上安装Hadoop
安装Hadoop的最简单的方法就是使用云平台(例如AWS)的Hadoop服务。EMR是AWS的Hadoop服务。下面阐述安装和配置EMR的步骤。从服务菜单中选择EMR,点击“create cluster”,如图2-27所示,填入集群名字,选择要安装的Hadoop的各个组件。我们选择了Hadoop和Spark。
![](https://epubservercos.yuewen.com/EA5FDB/18562449008361506/epubprivate/OEBPS/Images/Figure-P67_3959.jpg?sign=1734441459-CDitFF6NyRFC0Hp607GTNhYjSmdv9w9g-0-523aa1706cbc822c4ef4596affb39530)
图2-27 创建Hadoop集群
如图2-28所示,指定Hadoop集群的硬件设置。
![](https://epubservercos.yuewen.com/EA5FDB/18562449008361506/epubprivate/OEBPS/Images/Figure-P68_4004.jpg?sign=1734441459-J2ClJ5JTDuEvZRAPfSypx4PkJgc37EFP-0-2c33a5661998c9a2317e0e9c5210b330)
图2-28 硬件配置
设置Hadoop集群的网络和安全设置。单击如图2-29所示的安全组的配置,就出现如图2-30所示的设置。然后,使用SSH登录到AWS的Master节点,就会出现如图2-31所示的界面,而后就可以输入Spark命令。
![](https://epubservercos.yuewen.com/EA5FDB/18562449008361506/epubprivate/OEBPS/Images/Figure-P68_4005.jpg?sign=1734441459-N4xYiw5YLxChS6IR1UvYFsj7LCExTUqk-0-41c80c12c977b2f9b7634c233ffa6b0b)
图2-29 网络和安全设置
![](https://epubservercos.yuewen.com/EA5FDB/18562449008361506/epubprivate/OEBPS/Images/Figure-P68_4006.jpg?sign=1734441459-WV7olrcano3bxpzmq2JubBSUzrvYlaEL-0-d828ea5faf908b3a7e6fe35e3c28e7c0)
图2-30 安全组设置
![](https://epubservercos.yuewen.com/EA5FDB/18562449008361506/epubprivate/OEBPS/Images/Figure-P68_4007.jpg?sign=1734441459-pgt7fBIb6mY9oKxgyDKv9Dix3qiBZNzh-0-b5aaf1a6b704a06097c3ed12fe0b42f9)
图2-31 Spark界面
除了使用SSH来操作Hadoop集群和Spark之外,还可以在如图2-32所示的界面中启动Zeppelin,随后就会出现如图2-33所示的界面。
![](https://epubservercos.yuewen.com/EA5FDB/18562449008361506/epubprivate/OEBPS/Images/Figure-P69_4051.jpg?sign=1734441459-JZ8rd7mi9n2UfAtL7pWRcfk0dLEjVjJl-0-b7214ae6a886a0e1f303fe28d3d73113)
图2-32 集群
![](https://epubservercos.yuewen.com/EA5FDB/18562449008361506/epubprivate/OEBPS/Images/Figure-P69_4052.jpg?sign=1734441459-5sZJ6mIyz6dFBianazoWi29BsX12Oxdd-0-c61680b0b8d43c319d184d89b1289dcc)
图2-33 Zeppelin
之后,就可以输入Spark语句来操作集群上的数据(见图2-34,),查看日志信息(见图2-35)。
![](https://epubservercos.yuewen.com/EA5FDB/18562449008361506/epubprivate/OEBPS/Images/Figure-P69_4053.jpg?sign=1734441459-sShtPXCbjz8ViaIpZMLhcvgxfxLGVB0h-0-5089de3678a4049446bf0501658d126b)
图2-34 Spark操作
![](https://epubservercos.yuewen.com/EA5FDB/18562449008361506/epubprivate/OEBPS/Images/Figure-P69_4054.jpg?sign=1734441459-PceC54WVdjANSGum2Fq7KImbXS9KTReN-0-fb6740475ba12e51acfa32ad7a8882bc)
图2-35 查看日志