要点:
- 工具的特点
- 具体操作
1,什么是CM? (Cloudera Manager)
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。
CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。
2, 如何使用CM来安装CDH ?
(安装包版本需要和系统的版本对应, 此处使用集群: centos7 × 3 【一个namenode, 两个datenode】 )
- 准备CM安装包: cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz,
- CDH安装包: CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel, CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1
3, 具体安装步骤: 先安装CM, 启动server + agent--->进入网页:namenode:7180 , 网页端安装hadoop
A, 安装mysql(CM依赖mysql存储元数据, 并准备mysql连接jar包:mysql-connector-java-5.1.44.jar)
B, 解压CM, 修改配置文件:
tar -zxvf cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz -C /opt/
cd /opt/cm-5.13.0
vim etc/cloudera-scm-agent/config.ini: 将server_host=localhost替换为对应的namenode 主机名或ip
C, 复制mysql连接Jar包到CM的lib目录,并初始化数据库
cp mysql-connector-java-5.1.44.jar /opt/cm-5.13.0/share/cmf/lib/
/opt/cm-5.13.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pdaitoue --scm-host localhost scm scm
D, 所有节点同步文件
scp -r /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.44.jar .....