企业大数据处理:Spark、Druid、Flume与Kafka应用实践
上QQ阅读APP看书,第一时间看更新

kuai

第1章 基础环境准备

1.1 软件环境准备

软件版本选择:

操作系统:CentOS 6.6版本;JDK:1.7版本;Maven:3.2版本;Scala:2.10版本。

所有软件安装目录:/data/soft。

确定了软件版本后,我们将具体介绍软件的安装,本节主要介绍基础的软件安装方式。

1. JDK安装

JDK是Java Development Kit的简称,为Java语言开发的程序提供开发工具包和运行环境。JDK安装的步骤如下:

(1)下载JDK二进制安装包

        wget http://download.oracle.com/otn-pub/java/jdk/7u15-b03/jdk-7u15-linux-x64.tar.gz

(2)解压安装

        tar-zxvf jdk-7u15-linux-x64.tar.gz

(3)创建软连接

软连接相当于快捷方式,便于后续版本更新升级。

        ls-s/data/soft/jdk-7u15-linux-x64 /usr/local/jdk

(4)配置环境变量

        vim /etc/profile
        export JAVA_HOME=/usr/local/jdk
        export JRE_HOME=$JAVA_HOME/jre
        exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
                         :$JRE_HOME/lib:$CLASSPATH
        export PATH=$PATH: $JAVA_HOME/bin

刷新环境变量使其生效:source /etc/profile

(5)验证安装是否成功

查看JDK版本命令:java -version

2. Maven安装

Maven是Apache开源的一个目前比较流行的项目管理和整合工具,能够自动完成项目的构建,并根据配置文件自动下载依赖组件,提供代码编译、打包、发布等功能。下面介绍Maven的详细安装过程。

Maven安装的步骤如下:

(1)下载Maven二进制安装包

      wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.3.9/binaries/
      apache-maven-3.3.9-bin.tar.gz

(2)解压安装

      tar -zxvf apache-maven-3.3.9-bin.tar.gz

(3)创建软连接

软连接相当于快捷方式,便于后续版本更新升级。

      ls -s/data/soft/apache-maven-3.3.9-bin /usr/local/maven

(4)配置环境变量

        vim /etc/profile
        export M2_HOME=/usr/local/maven
        export PATH=$PATH: $JAVA_HOME/bin:$M2_HOM/bin

刷新环境变量使其生效:source /etc/profile

(5)验证安装是否成功

查看Maven版本命令:mvn -version

3. Scala安装

Scala编程语言是一种面向对象的函数式编程语言,充分展现了函数式编程语言简约、高效的特点,在程序开发的过程中可以引入Java语言,可扩展性强。由于Scala具有很多优秀的特性,越来越多的开源项目使用Scala语言开发,比如Spark、Kafka等。下面详细介绍Scala开发环境的安装过程。

Scala安装的步骤如下:

(1)下载JDK二进制安装包

        wget http://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.tgz

(2)解压安装

        tar -zxvf scala-2.10.6.tgz

(3)创建软连接

软连接相当于快捷方式,便于后续版本更新升级。

        ls -s /data/soft/scala-2.10.6 /usr/local/scala

(4)配置环境变量

        vim /etc/profile
        export SCALA_HOME=/usr/local/scala
        export PATH=$PATH: $JAVA_HOME/bin:$M2_HOM/bin:$SCALA_HOME/bin

刷新环境变量使其生效:source /etc/profile

(5)验证安装是否成功

查看scala版本命令:scala-version