CDHは正しく、詳細なテストをインストールされています

1.  CDHはじめに

簡単に言えば、 ClouderaのManagerは、数十から数時間、運用・保守要員に短く、数日からクラスタインストールを行う、クラスタ自動インストール、集中管理、クラスタの監視、アラーム機能（ソフトウェア）を持っているツールです。大幅クラスタ管理の効率を向上させることができる未満少数の人に減少人。

2. Clouderaのマネージャの機能

1）管理：クラスタ管理のために、そのような追加、削除ノードと他の操作など。

2）監視：クラスタの状態を監視、各種インジケータ、システムの動作は、包括的な監視を行うように設定しました。

3）診断：問題のクラスタは、診断、問題の解決策上の所与のアドバイスを発生します。

4）統合：多成分統合。

 

 

 

 

3. ClouderaのManagerのアーキテクチャ

1）サーバー：ソフトウェアのインストール、設定、起動と停止サービスは、クラスタを実行している管理サービスを担当します。

2）エージェント：各ホストにインストールされています。ホストを監視し、設定をプロセスの起動と停止を担当。

3）管理サービス：サービスの役割を警告とレポート作成、チームによる監視の様々なを行います。

4）データベース：格納構成及び監視情報。

5）Clouderaのレポジトリ：Clouderaの管理により、分散リポジトリソフトウェア。（に幾分類似のMavenの中央倉庫）

6）クライアント：サーバーとやり取りするためのインタフェース（ APIおよび管理コンソール）

 

 

 

 

 

 

4.  バージョンの紹介

CDHのバージョン：CDH 5.9.0

あなたは、対応するバージョンのダウンロードを見つけることができます。

http://archive.cloudera.com/cm5/cm/5/

cloudera-manager-centos7-cm5.9.0_x86_64.tar.gz

http://archive.cloudera.com/cdh5/parcels/5.9.0/

manifest.json

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1

 

 

 

 可自行去官网查看CDH中相对相应大数据组件版本号，开发时在maven上添加对应依赖

JDK版本：  1.8

Mysql版本: 5.6.42

Mysql链接包：mysql-connector-java-5.1.46.jar

 

 

 

5. centos环境准备

配置ip

配置免密

防火墙关闭

Selinux关闭

Hostname配置：节点名称  /etc/hostname

添加hosts名称：/etc/hosts

192.168.3.200 node200

192.168.3.201 node201

192.168.3.202 node202

192.168.3.203 node203

 

内存分配：

 

1.内存分配

CPU尽量调高，如我机器是16G内存，1T硬盘，三个节点各 200M 

内存是：主节点10个G  副节点是4G

 

2.节点全部配置 JDK1.8环境

1.解压jdk-8u191-linux-x64.tar.gz

tar -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/module    

 

2.配置环境变量 

vi /etc/profile

 

export JAVA_HOME=/usr/java/jdk1.8.0_191

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

 

export JAVA_HOME=/opt/module/jdk1.8.0_191

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

 

 

source  /etc/profile

 

 

3.安装配置mysql

1.查看centos版本

　　cat /etc/redhat-release

2.卸载MariaDB （centos7默认自带）

　　查看当前安装的mariadb包： rpm -qa | grep mariadb

　　强制卸载： rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64

3. 查看是否已经安装了MySQL

　　rpm -qa | grep -i mysql

 

4.查看是否存在mysql残党

  find / -name mysql

 

   删除分散mysql文件

   find / -name mysql / # whereis mysql

   删除配置文档

   rm -rf /etc/my.cnf

   再次查找机器是否安装mysql

   rpm -qa|grep -i mysql

 

5.mysql 在centos7下的依赖

yum -y install autoconf 

yum -y install perl

 

6.依次安装rpm包

rpm -ivh MySQL-devel-5.6.42-1.el7.x86_64.rpm

rpm -ivh MySQL-server-5.6.42-1.el7.x86_64.rpm

rpm -ivh MySQL-client-5.6.42-1.el7.x86_64.rpm

 

7.更改密码刷新权限

* cat /root/.mysql_secret 查看默认密码 oHH9dLpWrvWzRcG7

* service mysql start 启动mysql

* chkconfig mysql on    mysql开机启动

* mysql -uroot -p 使用默认密码登录

* SET PASSWORD=PASSWORD('000000'); 修改密码

* use mysql; 修改用户权限

* select User, Host, Password from user; 修改user表，把Host表内容修改为%

* update user set host='%' where host='localhost';

* 删除root用户的其他host

* mysql>delete from user where Host='u1';

* mysql>delete from user where Host='127.0.0.1';

* mysql>delete from user where Host='::1';

* 更新权限 grant all privileges on . to 'root'@'%' identified by '123456' with grant option;

* 刷新权限 flush privileges;

 

 

 

 

配置完整CDH系统

 

 

 

下载第三方依赖:

在三台节点（所有agent的节点）上执行下载第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

 

yum install perl perl-devel --nogpgcheck(跳过公钥)

 

 

创建CM用的数据库：

（1）集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

（2）hive数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

（3）oozie数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

（4）hue数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

 

CDH安装

 

导入/opt/software相关的安装包：

mysql-connector-java-5.1.46.jar

mysql-connector-java.jar

manifest.json

CDH-5.16.1-1.cdh5.16.1.p0.3-el6.parcel

CDH-5.16.1-1.cdh5.16.1.p0.3-el6.parcel.sha1

cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz

 

1、在主节点解压CM安装包至/opt默认目录

tar xvf cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz  -C /opt

 

配置CM的数据库

拷贝mysql jar文件到目录 /usr/share/java/

[root@hadoop102 share]# mkdir /usr/share/java/

[root@hadoop102 cm-5.12.1]# cp /opt/software/mysql-connector-java-5.1.27-bin.jar /usr/share/java/

[root@hadoop102 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

• 注意jar包名称要修改为mysql-connector-java.jar

 

 

2、将mysql jdbc driver放入CM的lib中

cp mysql-connector-java-5.1.46.Jar  /opt/cm-5.16.1/share/cmf/lib/

 

3、在主节点（cdh-master)初始化CM数据库

/opt/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

4.配置Agnet

修改agnet的配置文件config.ini中的server_host为主节点的主机名（u1-master）

 

vim/opt/cm-5.14.3/etc/cloudera-scm-agent/config.ini

5.同步Agent到slave[1..3]节点

scp -r /opt/cm-5.16.1/ [email protected]:/opt/

scp -r /opt/cm-5.16.1/ [email protected]:/opt/

scp -r /opt/cm-5.16.1/ [email protected]:/opt/

 在所有节点创建cloudera-scm用户

useradd --system --home=/opt/cm-5.16.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

 

6.把CM文件拷贝到parcel-repo下

[root@hadoop102 cm-5.16.1]# mv /opt/software/CDH-5.16.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

 

[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha /opt/cloudera/parcel-repo/

 

[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel /opt/cloudera/parcel-repo/

 

[root@hadoop102 module]# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/

 

 

7.在Agent 节点（hadoop102，hadoop103，hadoop104）创建目录/opt/cloudera/parcels节点的安装目录

[root@hadoop102 module]# mkdir -p /opt/cloudera/parcels

[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

 

[root@hadoop103 module]# mkdir -p /opt/cloudera/parcels

[root@hadoop103 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

 

[root@hadoop104 module]# mkdir -p /opt/cloudera/parcels

[root@hadoop104 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

 

注：如果报以下错误，需要yum 对应的命令    which    psmic

 

      yum install which --nogpgcheck

 

 

 

8.分发cloudera文件目录

[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop103:/opt/

[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop104:/opt/

 

 

9.开启服务 必须先启动  Agent   再启动server

1.依次开启 Agent

/opt/cm-5.16.1/etc/init.d/cloudera-scm-agent start

2.主节点开启server

/opt/cm-5.16.1/etc/init.d/cloudera-scm-server start

 

 

注意：启动过程非常慢，Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。

[root@hadoop102 init.d]# netstat -anp | grep 7180

tcp        0      0 0.0.0.0:7180                0.0.0.0:*                   LISTEN      5498/java

 

查看被占用则表示安装成功了！！！

 

访问http://hadoop102:7180，（用户名、密码：admin）

 

 

 

 

 

 

 

 

 

 

 

 

 

 

安装界面化界面:

 

详情请见同目录  3.★配置安装界面化CM安装Hadoop生态圈

 

安装完CDH的组件：

默认配置文件路径：

Hadoop: /etc/hadoop/conf

hbase: /etc/hadoop/conf

hive: /etc/hive/conf

 

如果hdfs  报错  nn启动不起来，

第一格式化的错误， 需要把hdfs服务停止，然后删除服务，

第二，需要把 /dfs 所有节点的服务都删除掉，然后重新在CDH上创建hdfs

启动完成

 

缺依赖   报parl   common on  ，   

yum install perl perl-devel --nogpgcheck

 安装时：hive hue hbase连接报错多为mysqlconnector 连接jar包未放入lib下