CentOS7下CDH2.7.2安装部署

克隆3台虚拟机

配置虚拟机

主机	内存	IP	软件
node1	5G	192.168.2.211	jdk、
node2	2G	192.168.2.212	jdk、
node3	2G	192.168.2.213	jdk、

准备

---

1、修改IP

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
#重启网络
/etc/init.d/network restart

2、修改主机名

hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3

3、修改/etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.2.211 node1
192.168.2.212 node2
192.168.2.213 node3

4、配置免密码登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将公钥拷贝到其它要免登录的机器

ssh-copy-id node2
ssh-copy-id node3

将/etc/hosts拷贝到其它的机器

scp /etc/hosts root@node2:/etc
scp /etc/hosts root@node3:/etc

5、安装JDK

上传解压到/opt/jdk1.8.0_91目录下

设置环境变量

vi ~/.bash_profile

export JAVA_HOME=/opt/jdk1.8.0_91
export PATH=$PATH:$JAVA_HOME/bin

刷新环境变量

source ~/.bash_profile

并将JDK拷贝到其它主机

6、安装ntp同步时间

yum install -y ntp
ntpdate -u ntp.sjtu.edu.cn

7、安装依赖

yum install -y python bind-utils  psmisc  libxslt  zlib  sqlite  cyrus-sasl-plain  cyrus-sasl-gssapi  fuse  portmap  fuse-libs  -lsb

开始安装CM

1、下载

#CM下载地址
http://archive-primary.cloudera.com/cm5/cm/5/

#CDH下载地址
http://archive.cloudera.com/cdh5/parcels/4

将.sha1结尾的文件重命名为.sha结尾

上传到虚拟机

2、安装Cloudera Manager Server、Agent

mkdir /opt/cloudera-manager
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

3、创建用户cloudera-scm (三台)

useradd --system --home=/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

4、配置CM Agent (三台)
修改文件/opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini中
server_host以及server_port

vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini

5、配置CM Server数据库 为MySQL
拷贝mysql jar文件到目录 /usr/share/Java/
注意jar包名称要修改为mysql-connector-java.jar

mkdir /usr/share/java/
cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar

配置MySql

#创建temp用户并授权
GRANT ALL ON *.* TO 'temp'@'%' IDENTIFIED BY 'temp' WITH GRANT OPTION;
FLUSH PRIVILEGES;

cd /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h 192.168.2.1 -utemp -ptemp --scm-host node1 scm scm scm
                    格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

6、创建Parcel目录

Server节点(node1)
    mkdir -p /opt/cloudera/parcel-repo
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent节点(node1、node2、node3)
    mkdir -p /opt/cloudera/parcels
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

将
CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel
CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha
manifest.json
移动到：
/opt/cloudera/parcel-repo 文件夹下

7、启动CM Server、Agent

#启动服务端（node1）
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-server start

#启动客户端（node1、node2、node3）
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-agent start

8、访问网址测试
查看启动日志：
/opt/cloudera-manager/cm-5.7.2/log/cloudera-scm-server

192.168.2.211:7180

出现如下界面说明启动成功

开始配置CM

1、登录
用户名：admin，密码admin

2、
免费

全选

默认

等待

2个警告

解决

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo 10 > /proc/sys/vm/swappiness

然后单机重新运行。