centos6.4下CDH5.7.1集群的安装

1、安装前的准备:

2、配置三台机器之间的ssh免密登录

  • 每台机器上都运行ssh-keygen -t rsa命令生成公钥

  • cdhslave1与cdhslave2上运行ssh-copy-id root@cdhmaster

  • 在cdhmaster上运行ssh-copy-id root@cdhslave1 与 ssh-copy-id root@cdhslave2

3、安装jdk

  • 卸载原有的jdk:
    rpm -qa |grep java
    rpm -e –nodeps 包名

  • rpm -ivh jdk-8u91-linux-x64.rpm

4、cloudera-manager安装

  • 把cloudera-manager-el6-cm5.7.1_x86_64.tar上传到cdhmaster并拷贝到cdhslave[1-2]上

  • 在每台机子上进行文件解压 tar xzvf cloudera-manager-el6-cm5.7.1_x86_64.tar.gz -C /opt/

  • 在每台机子上都执行 vim /opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini 更改server_host设置成cdhmaster的主机名

  • 为所有机器新建cloudera-scm用户,注意把–home设置为对应的路径:
    sudo useradd –system –home=/opt/cm-5.7.1/run/cloudera-scm-server/ –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm

  • 在每台机器上把mysql驱动的jar文件上传到/opt/cm-5.7.1/share/cmf/lib

  • 初始化数据cloudera库
    /opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p数据库密码 –scm-host localhost scm scm scm

  • 在cdhmaster上启动Cloudera Manager Server

  • 在三台机器上都启动Cloudera Manager Agent

  • 浏览器中输入cdhmaster:7180 进行web登录,用户名密码都是admin

  • 进行文件拷贝:
    把下载好的CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1 和 KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel.sha1重命名为CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha 和 KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel.sha把CDH和KAFKA的parcel和sha文件上传到cdhmaster 的 /opt/cloudera/parcel-repo/目录

  • 选择cloudera manager的版本 ,这里选择免费版

  • 为集群指定主机

  • 选择cdh版本。这里选择我们下载好的parcel的版本 。如果没有出现我们的离线安装版本,可以重启Cloudera Manager Server

  • 等待安装包安装和分配到集群中的所有主机

  • 检查主机正确性

  • 选择需要安装的服务,这里可以根据自己的需求进行安装

  • 进行角色分配。可以按照默认的设置

  • 进行数据库配置。首先在mysql中建立hive\ozzie的数据库 然后填入表格 ,随后测试数据库连通性

  • 进行集群相关设置

  • 首次启动

  • 完成安装

猜你喜欢

转载自blog.csdn.net/phn_csdn/article/details/75910523