Hadoop大数据平台集群部署与开发
上QQ阅读APP看书,第一时间看更新

项目1 搭建Hadoop开发环境

项目引入

我叫Snkey,是一名大数据分析师,在一家电商公司工作,每天和大量的数据打交道;我的同事Windy负责公司项目的系统运维,监管公司各种网络问题;而Suzan则是一名资深的Java开发工程师。我们分管不同的部门,但是因为一个项目我们彼此有了交集。

一次会议上,大Boss 提出公司要成立一个专门处理大数据的团队。

Boss:现在大数据越来越流行了,可谓遍地开花,随着公司业务的蒸蒸日上,公司的后台数据日益增长,在大数据时代,数据就是黄金,我们也不能落伍,我们是否考虑把大数据技术引入进来。

我:目前积累的数据已经很庞大了,随着时间的推移,数据量只会越来越庞大,传统的数据架构和计算框架在处理一些复杂的业务上已经捉襟见肘,要想挖掘出大量数据中的有用价值,必须运用大数据技术,例如Hadoop、MapReduce、Hive等。

Boss对这个想法大加赞赏,当场就拍板由我们三个人成立一个大数据团队。

知识图谱

项目1的知识图谱如图1-1所示。

图1-1 项目1知识图谱