hadoop系列: hadoop动部署工具CM

要点:

  1. 工具的特点
  2. 具体操作

1,什么是CM?   (Cloudera Manager)

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。

CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。


2, 如何使用CM来安装CDH ? 

(安装包版本需要和系统的版本对应, 此处使用集群: centos7  × 3 【一个namenode, 两个datenode】 )

  1. 准备CM安装包:  cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz, 
  2. CDH安装包:  CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel,  CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1


3, 具体安装步骤: 先安装CM,  启动server + agent--->进入网页:namenode:7180 , 网页端安装hadoop

A,  安装mysql(CM依赖mysql存储元数据, 并准备mysql连接jar包:mysql-connector-java-5.1.44.jar)

B, 解压CM, 修改配置文件:

tar -zxvf cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz -C  /opt/

cd /opt/cm-5.13.0

vim etc/cloudera-scm-agent/config.ini:   将server_host=localhost替换为对应的namenode 主机名或ip

C,  复制mysql连接Jar包到CM的lib目录,并初始化数据库

cp mysql-connector-java-5.1.44.jar /opt/cm-5.13.0/share/cmf/lib/

/opt/cm-5.13.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pdaitoue --scm-host localhost scm scm

D, 所有节点同步文件

 scp -r  /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.44.jar  .....

 

  

猜你喜欢

转载自blog.csdn.net/eyeofeagle/article/details/82155363