CDH集群安装

**

CDH安装步骤

**
1、创建虚拟机
2、ping 通外网
3、编辑主机名
4、设置hosts里面的ip和主机名
5、将jdk放到usr下，并改为java
6、配置环境变量
export PS1=’[\u@\h pwd]$’
export JAVA_HOME=/home/xss/java/jdk
export HADOOP_HOME=/home/xss/java/hadoop
export ZOOKEEPER_HOME=/home/xss/java/zookeeper
export PATH= $JAVA_HOME/bin:$HADOOP_HOME/bin: $HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$PATH
7、 将java的权限设置为root chown -R root:root /usr/java/
8、 关闭SELINUX setenforce 0
9、关闭防火墙
10、装第三方依赖
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
11、安装mysql（文档） 在主机的那个mysql上创建几个数据库
create database amon DEFAULT CHARSET utf8 COLLATE
utf8_general_ci;
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

cd到opt下把cdh压缩包放里面解压出两个文件（然后再进行克隆）

12、克隆虚拟机
13、设置时间同步及内存分配
14、启动虚拟机 ping通外网
/etc/sysconfig/network-scripts
vim ./ifcfg-ens33
15、互相之间免密
16、查看安装有哪几个ntp
rpm -qa | grep ntp
17、查看ntp的状态 三台虚拟机同时执行指令
systemctl status ntpd.service
18、编辑ntp文件
/etc/ntp.conf

server 192.168.224.177（主要机器的ip）
restrict 192.168.224.177 nomodify notrap noquery

第一台主要的虚拟机

第二台虚拟机

第三台虚拟机

19、启动ntp
systemctl start ntpd.service
systemctl status ntpd.service 查看状态

查看另外两台是否能同步时间
ntpdate -u 192.168.20.134

永久开机启动ntp
systemctl enable ntpd.service
查看三台的机器之间的关系
ntpq -p
第一台

第二台

第三台

重新启动虚拟机
重启完虚拟机之后再进入mysql
SHOW VARIABLES LIKE ‘validate_password%’; 查看密码格式
set global validate_password_policy=0;
set global validate_password_mixed_case_count=0;
set global validate_password_number_count=3;
set global validate_password_special_char_count=0;
set global validate_password_length=3;
查询当前user表内root的登录权限：
select host,user from mysql.user; （mysql点user）
修改权限为所有%：
update mysql.user set host = ‘%’ where user = ‘root’;
刷新缓存：
flush privileges;
退出mysql，再重新登录
三台同时执行 setenforce 0
三台同时执行 cd到opt下面（有两个有关clo的文件夹）
三台同时执行 创建cdh用户 : useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm
三台同时执行 编辑 /opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini

cd /usr/share/java 将放进来
并进行改名

cd 到opt下（在主要的那台机器上例cdh7）
执行 /opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hcdh7 -uroot -proot --scm-host cdh7 scm scm scm
报错:

解决方法： 设置密码长度和格式
SHOW VARIABLES LIKE ‘validate_password%’; 查看密码格式
set global validate_password_policy=0;
set global validate_password_mixed_case_count=0;
set global validate_password_number_count=3;
set global validate_password_special_char_count=0;
set global validate_password_length=3;
查询当前user表内root的登录权限：
select host,user from mysql.user; （mysql点user）
修改权限为所有%：
update mysql.user set host = ‘%’ where user = ‘root’;
刷新缓存：
flush privileges;
退出mysql，再重新登录

解决完错误之后 创建一个parcels目录

修改权限

权限修改之后的结果：

将安装cdh的三个文件放到 /opt/cloudera/parcel-repo 下

启动服务端
/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start
启动客户端
/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
查看状态
netstat -anp | grep 7180