基于Apache Kylin构建大数据分析平台
上QQ阅读APP看书,第一时间看更新

4.3 正式安装CDH:准备工作

1.安装Cloudera Manager Server和Agent

首先在主节点(SZB-L0020040)解压安装CM。

将下载的CM包放在/opt/目录中解压:

        # cd /opt
        # tar xzf cloudera-manager*.tar.gz

CM Agent配置

修改/opt/cm-5.7.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名和端口号:

      # CM server的主机名
      server_host=SZB-L0020040
      # CM server监听的端口号
      server_port=7182

同步主节点(SZB-L0020040)的Agent到其他节点:

        # scp -r /opt/cm-5.7.0     SZB-L0020041:/opt/
        # scp -r /opt/cm-5.7.0     SZB-L0020042:/opt/
        # scp -r /opt/cm-5.7.0     SZB-L0020043:/opt/

2.所有节点都创建cloudera-scm用户

        #  useradd  --system  --home=/opt/cm-5.7.0/run/cloudera-scm-server  --no-
    create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3.为Cloudera Manager 5建立数据库(选择存放CM元数据的MySQL数据库)

首先需要去MySql的官网下载JDBC驱动,下载地址为:

http://dev.mysql.com/downloads/connector/j/

下载完成后,进行解压缩,找到mysql-connector-java-5.1.38-bin.jar文件并放到/opt/cm-5.7.0/share/cmf/lib/中。

然后在主节点初始化CM 5的数据库。

在MySQL数据库中创建scm用户:

        mysql> grant all on scm.* TO 'scm'@'%' IDENTIFIED BY 'xxxxxx';
        mysql> flush privileges;

再执行创建scm数据库等操作:

        # /opt/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql -
    hlocalhost -uroot -pxxxxxx --scm-host SZB-L0020040 scm scm scm

4.准备Parcels,用以安装CDH5

在CM Server上创建存放Parcels的目录并修改属主和属组:

        # mkdir -p /opt/cloudera/parcel-repo
        # chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

在集群的每个节点创建目录:

        # mkdir -p /opt/cloudera/parcels
        # chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

提示

如果CM5安装包解压缩就存在上面两个目录,那么就不需要创建此目录了。

将CDH5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中。

相关的文件如下:

        CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel
        CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1
        manifest.json

最后,将CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1重命名为CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha,这点必须注意,否则,系统会重新下载CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel文件。

5. CM相关启动脚本

通过/opt/cm-5.7.0/etc/init.d/cloudera-scm-server start启动服务端。

通过/opt/cm-5.7.0/etc/init.d/cloudera-scm-agent start启动Agent服务。

我们启动的其实是个service脚本,需要停止服务将以上的start参数改为stop就可以了,重启是restart。

针对我们的环境,需要在SZB-L0020040主节点上启动Server和Agent,然后其余节点启动Agent服务。