CDH-5.14.2集群安装

1、所有主机root用户密码一致

Ping检测网络链接是否正常

telnet检测服务端口能否正常访问

生成ssh无秘钥登录

[root@y3 ~]# 
[root@y3 ~]# ssh-keygen #生成ssh秘钥
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
13:f1:e5:a3:62:ac:ce:ad:63:72:d1:6f:4a:89:de:5b root@localhost85
The key's randomart image is:
+--[ RSA 2048]----+
|        .   .    |
|         o o     |
|        . . o    |
|       . . . .   |
|       .S .      |
|      .+.+       |
|      o.o.E      |
|    .+++ .o      |
|     +=o=+       |
+-----------------+
[root@y3 ~]#


[root@y3 ~]#ssh-copy-id -i /root/.ssh/id_rsa.pub [email protected] #拷贝到其他主机
[email protected]'s password: 
Now try logging into the machine, with "ssh '[email protected]'", and check in:


  .ssh/authorized_keys

to make sure we haven't added extra keys that you weren't expecting.

[root@y3 ~]# 
[root@y3 ~]# ls /root/.ssh/
authorized_keys  id_rsa  id_rsa.pub  known_hosts

[root@y3 ~]#

2、CentOS 6 相关网络配置：

Ø  修改网络ip地址

#vi/etc/sysconfig/network-scripts/ifcfg-eth0 修改eth0 网卡信息IP等.

内容如下： 

Ø  修改主机名

#vi /etc/sysconfig/network       修改主机名，加入网关

Ø  设置DNS

#vi /etc/resolv.conf配置DNS，一般前两个配置文件完成后这个会自动识别.

内容如下：

nameserver 192.168.168.1          

nameserver 192.168.168.2

Ø  重新启动网络服务

#service network restart

或者

#ifconfig eth0 down

#ifconfig eth0 up

3、关闭防火墙iptables

Ø  #service iptables stop  （当前会话关闭防火墙）

Ø  #/etc/init.d/iptables save        #保存防火墙规则

Ø  chkconfig --add iptables            #添加到开启启动项

Ø  #chkconfig iptables off （将关闭防火墙加入开机启动项，重启生效）

Ø  #service iptables status（查看防火墙状态）

如下：

3、关闭selinux

/etc/selinux/config（修改红框内容为SELINUX=disabled）

4、安装网络yum源

下载网络yum源：

wget -O/etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo

修改配置文件CnetOS-Base.repo，通过vim编辑器打开CnetOS-Base.repo ， 替换$releaserver 命令： 输入%s/$releaserver/6/g  ，wq保存退出。 

注：g标示全局替换，将$releaserver替换为6，这里替换的是centos版本，安装cdh时候回到指定目录下载相关文件，最好是在浏览器打开baseurl路径，查看指定路径下的数据包是否存在，不存在请使用其他版本。

内容如下：

[root@y3 ~]# 
[root@y3 ~]# cd /etc/yum.repos.d/
[root@y3 yum.repos.d]# ls
back              cloudera-manager.repo      cloudera-manager.repo.rpmnew
CentOS-Base.repo  cloudera-manager.repo.~1~
[root@y3 yum.repos.d]# vim CentOS-Base.repo 
#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-6 - Plus - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/6/centosplus/$basearch/
        http://mirrors.aliyuncs.com/centos/6/centosplus/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=6&arch=$basearch&repo=centosplus
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-6


#contrib - packages by Centos Users
[contrib]
name=CentOS-6 - Contrib - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/6/contrib/$basearch/
        http://mirrors.aliyuncs.com/centos/6/contrib/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=6&arch=$basearch&repo=contrib
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-6
"CentOS-Base.repo" 62L, 2373C                                                   59,1         底端
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/6/extras/$basearch/
        http://mirrors.aliyuncs.com/centos/6/extras/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=6&arch=$basearch&repo=extras
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-6


#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-6 - Plus - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/6/centosplus/$basearch/
        http://mirrors.aliyuncs.com/centos/6/centosplus/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=6&arch=$basearch&repo=centosplus
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-6


#contrib - packages by Centos Users
[contrib]
name=CentOS-6 - Contrib - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/6/contrib/$basearch/
        http://mirrors.aliyuncs.com/centos/6/contrib/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=6&arch=$basearch&repo=contrib
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-6
~                                                                                                 

~                                                    

[root@y3 ~]#

5、安装httpd(主机即可)

因为内网无法连接互联网，所有安装需要自己搭建安装下载源进行安装。另外：注意一下httpd的版本为：

yum -y install http*

6、安装CDH

CDH下载：

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.8/RPMS/x86_64/

下载包：

CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel
CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel.sha
CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel.torrent
cloudera-manager-agent-5.14.2-1.cm5142.p0.8.el6.x86_64.rpm
cloudera-manager-daemons-5.14.2-1.cm5142.p0.8.el6.x86_64.rpm
cloudera-manager-installer.bin
cloudera-manager.repo
cloudera-manager-server-5.14.2-1.cm5142.p0.8.el6.x86_64.rpm
cloudera-manager-server-db-2-5.14.2-1.cm5142.p0.8.el6.x86_64.rpm
enterprise-debuginfo-5.14.2-1.cm5142.p0.8.el6.x86_64.rpm
jdk-6u31-linux-amd64.rpm
oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
RPM-GPG-KEY-cloudera

[root@y3 parcel-repo]# 

安装步骤：

1、创建目录：

mkdir-p /opt/cloudera/parcel-repo

2、将下载包移动到/opt/cloudera/parcel-repo目录

3、执行命令安装： yum -y install *.rpm

CHD安装错误：

CHD执行安装rpm文件错误：

安装过程中，发现缺少依赖包，有些系统在安装时可能已经安装好，有些可能没有，需要自行安装。

解决办法：

通过yum安装缺少软件包， yum–y install fuse mod_ssl openssl-devel, 安装完成即可。

2、问题提示：

如果在安装./cloudera-manager-installer.bin的过程中问题提示 ：/etc/cloudera-scm-server目录下db.propertiesdb文件已存在。

解决办法：

执行 rm -rf /etc/cloudera-scm-server/db.properties 删除后，重新执行./cloudera-manager-installer.bin即可。

6、CDH登录页面操作

登录页面操作：

浏览器： http://192.168.2.219:7180/cmf/login, 默认登录密码是admin/admin

选择同意许可证，点击继续

这里选择免费版安装，点击继续。

选择cdh安装主机，在文本框输入主机ip，点击搜索，自动查找主机，点击继续。

选择集群安装库，本次采用离线安装，选择上传到服务器的parcel安装包,选择CDH版本为CDH-5.14.2,其他选择全部选择无即可。

Jdk安装，本机已经安装过jdk，此处略过，建议自己下载jdk安装，不要使用自带jdk。

启动用户模式，默认使用单用户模式，点击继续。

由于在安装过程中已经配置ssh免秘钥登录，chd会自动管理个机器之间的通信。这里只需要设置登录用户密码即可。

安装错误：

Exhausted availableauthentication methods

该错误是由于在上一步设置root机器登录密码有问题，重新检查一下即可。

这里安装本地下载的安装包，如果是在线下载，耗时很久，可能安装过程有问题，建议离线下载安装，安装完成如下

Parcel安装：

因为 Parcel文件已经提前下载好了，第一个进度条会直接显示已经下载，然后开始分配。这个过程实际上就是将 Parcel内的软件解压缩安装到各个主机上的过程。耐心等待时间可能会比较长。

主机检查：

错误提示解决办法：

1、在命令行任意位置执行以下命令，重启服务后将永久生效。

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never >/sys/kernel/mm/transparent_hugepage/enabled

2、编辑 vim/etc/sysctl.conf

vm.swappiness=0

3、编辑 vim /etc/rc.local

文件添加内容：

echo never >/sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

以上修改完成后，重新检查主机即可。

集群安装,选择自定义安装，选择需要安装的组件即可。

我这里选择的比较多，个人自行根据需要选择即可。

选择集群配置

选择安装数据库，这里根据自己需要选择，我这里选择本机已经安装的mysql数据库

Mysql安装：yum –y install mysql*

修改登录密码：/usr/bin/mysqladmin -u root password 'root'

登录：mysql -u root –p

远程登录：mysql -h 192.168.2.219 -P 3306 -uroot -proot

授权：

grant all privelege *.* to 'root'@'%'identified by 'root';

grant all privelege *.* to 'root'@'y3.worker.com'identified by 'root';

grant all privelege *.* to 'root'@'192.168.2.219'identified by 'root';

flushprivileges;

审核设置，这里不用修改，全是默认

初始化设置，这是是对选择安装的服务进行初始化。可以自行初始化。

集群配置完成如下：

点击完成后调整到主页面。

以上集群安装完成，可以通过界面操作，安装需要的软件。

7、安装服务

通过界面手动添加其他服务，例如安装hive服务。在主界面，点击添加服务，如下。

选择安装服务，这里选择hive,点击继续

选择hive依赖，这里选择hdfs安装，也可以选择hbase.

选择机器分配hive角色，如果多个节点，hiveserver要选择dataname安装节点上。

选择hive源数据存储数据库，默认是postgresql数据库，我这里选择mysql数据库，然后测试一下是否能链接上mysql数据库。

选择hive数据目录，这个目录是hive在hdfs上存储数据的目录，默认死/user/hive/warehouse

这一步骤是执行安装hive服务。如果安装有问题，请处理完成后再继续，否则安装失败。

执行安装成功后，

安装完成后如下：