大数据平台CDH6.3.2安装部署全过程

其他 2021-11-19 00:59:24 阅读次数: 0

大数据平台CDH6.3.2安装部署全过程

一、CDH介绍

是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建
提供了Hadoop的核心
可扩展存储
分布式计算
基于Web的用户界面
CDH优点
版本划分清晰
更新速度快
支持Kerberos认证

二、 安装环境

2.1 虚拟机版本：VMware Workstation 15 Pro

2.2 Linux CentOS-7.3 台

操作系统 CPU 内存 硬盘 IP 主机名
CentOS-7.3 2核 4G 100G 192.168.179.2 CDH01
CentOS-7.3 2核 4G 100G 192.168.179.3 CDH02
CentOS-7.3 2核 4G 100G 192.168.179.4 CDH03

2.3 安装包准备:

(1)Cloudera Manger下载
cloudera-manager-server-6.3.1-1466458.el7.x86_64
cloudera-manager-agent-6.3.1-1466458.el7.x86_64
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64
(2)CDH下载
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
RPM-GPG-KEY-cloudera
(3)Mysql5.7.35
mysql-5.7.35-linux-glibc2.12-x86_64.tar
mysql-connector-java-5.1.47.jar
(4)JDK1.8.0
oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

三、 环境配置

3.1 网络配置

vi /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述
重启网络

systemctl restart network

网关配置

vi /etc/resolv.conf

添加

nameserver 114.114.114.114
nameserver 8.8.8.8

3.2 防火墙配置

关闭并禁用防火墙（所有节点）
关闭防火墙：systemctl stop firewalld.service
禁止开机启动：systemctl disable firewalld.service

3.3 主机配置

修改主机名（所有节点）

hostnamectl set-hostname CDH01  #改为CDH01主机名，自定义

设置主机名映射（所有节点）

vi /etc/hosts

添加：

192.168.179.2 	CDH01
192.168.179.3 	CDH02
192.168.179.4 	CDH03

selinux关闭（所有节点）

vi /etc/selinux/config 
SELINUX=disabled

停止networkmanager服务（所有节点）
CentOS系统有两种网络管理工具NetworkManager和network。如果两种都配置会引起冲突，而且NetworkManager在网络断开的时候，会清理路由，如果一些自定义的路由，没有加入到NetworkManager的配置文件中，路由就被清理掉，网络连接后需要自定义添加上去

systemctl stop NetworkManager.service
systemctl disable NetworkManager.service

重启网络：systemctl restart network

禁用透明大页面(所有节点，重启生效)

vim /etc/rc.local

#加入以下内容

if test -f?/sys/kernel/mm/transparent_hugepage/enabled;?then
???echo never >?/sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f?/sys/kernel/mm/transparent_hugepage/defrag;?then
???echo never >?/sys/kernel/mm/transparent_hugepage/defrag
fi
 chmod +x /etc/rc.d/rc.local

#验证

cat /etc/rc.d/rc.local

修改Linux swappiness(所有节点)
永久修改：

vi /etc/sysctl.conf 
vm.swappiness=0

使参数生效：

sysctl -p

3.4 JDK配置

上传JDK安装文件：oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm，使用以下安装JDK

rpm -ivh jdk-8u211-linux-x64.rpm

配置Java环境变量，在 /etc/profile中追加以下内容：

vi /etc/profile
export JAVA_HOME=/usr/java/1.8.0_181-cloudera
export PATH=$JAVA_HOME/bin:$PATH

拷贝jdbc驱动包到服务器（所有节点)

mkdir -p /usr/share/java
cp mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar

3.5 安装cloudera-manager-daemons

mkdir /opt/cloudera-manager 创建目录，用于存放 cdh的安装文件
上传cloudera-manager-daemons，cloudera-manager-agent（所有节点）
再上传cloudera-manager-server（主节点）
安装cloudera-manager-daemons（所有节点）

cd /opt/cloudera-manager
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

四、克隆虚拟机及配置

4.1 克隆机器之前已完成

1.Java的安装配置
2.cloudera-manager-daemons的安装
3. jdbc的拷贝

4.2 克隆节点CDH02、CDH03的环境配置

在克隆节点重复第三部分的环境配置，修改克隆机器的主机名、主机名映射、网关配置、关防火墙等（所有节点）的操作

4.3 克隆节点CDH02、CDH03网络配置

因为克隆节点UUID和IP地址与主机CDH01的一样，需要更改，

4.3.1 生成uuid

uuidgen

4.3.2 修改网卡配置文件UUID和IPADDR

将上一步生成的uuid替换掉原来的uuid,并修改ip

vi /etc/sysconfig/network-scripts/ifcfg-ens33

4.3.3 重启网络查看网卡信息

systemctl restart network
ifconfig

4.4 配置ssh免密登录（所有节点）

生成公钥和私钥，无需指定口令密码，直接回车，

ssh-keygen -t rsa

进入到.ssh/目录

cd  ~/ .ssh/

将公钥拷贝到免密登录的机器上

ssh-copy-id CDH02
ssh-copy-id CDH03
ssh-copy-id CDH04

验证：

ssh CDH02

（三个节点都要免密，同上）

4.5 利用chrony时间同步（所有节点）

CentOS 7默认以chronycd服务作时间同步，而不以ntpd作为同步服务
所有系节点都以CDH01作为同步服务器，在所有节点更改文件

vi /etc/chrony.conf

以#注释其它所有默认时间服务器
在这里插入图片描述
增加 server CDH01 iburst（所有节点）
同时更改
在这里插入图片描述
改为：（CDH01）

192.168.179.0/24

CDH01修改下面
在这里插入图片描述
启动服务

systemctl restart chronyd
systemctl enable chronyd

检查服务状态

chronyc sources

五、 安装Mysql数据库并创建用户和数据库（CDH01安装即可）

集群的安装需要一个关系型数据库进行配置数据的存储，CDH支持Oracle，Mysql，Postgrest

5.1 检测和卸载已安装的MySQL软件

rpm -qa|grep mysql

如果有已安装的mysql，使用以下命令卸载：

rpm -e ---nodeps mysql

rpm -qa|grep mariadb

，检测卸载

yum remove mysql-libs

5.2 查询所有Mysql对应的文件夹

whereis mysql
find / -name mysql

5.3 检查mysql用户组和用户是否存在，如果没有，则创建

cat /etc/group | grep mysql
	#如果上述命令结果为空，则执行以下命令创建MySQL用户组及用户
groupadd mysql
useradd -r -g mysql mysql

5.4 将mysql相关安装包上传到 /opt/mysql

#解压mysql-5.7.35-linux-glibc2.12-x86_64.tar
tar -xvf mysql-5.7.35-linux-glibc2.12-x86_64.tar
#解压安装包并移动到 /usr/local/mysql
mv mysql-5.7.35-linux-glibc2.12-x86_64 /usr/local/mysql

5.5 在/usr/local/mysql目录下创建data目录

mkdir /usr/local/mysql/data

5.6 更改Mysql目录并初始化mysql

更改mysql目录下所有的目录及文件夹所属的用户组和用户，以及权限

chown -R mysql:mysql /usr/local/mysql
chmod -R 755 /usr/local/mysql

5.7 编辑配置文件vi/etc/my.cnf

编译安装并初始化mysql,务必记住初始化输出日志末尾的密码（数据库管理员临时密码）

cd /usr/local/mysql/bin
./mysqld --initialize --user=mysql --datadir=/usr/local/mysql/data --basedir=/usr/local/mysq

编辑配置文件vi /etc/my.cnf,替换为如下配置

[mysqld]
datadir=/usr/local/mysql/data
port = 3306
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
symbolic-links=0
max_connections=400
innodb_file_per_table=1
#表名大小写不明感，敏感为
lower_case_table_names=1

5.8 启动Mysql并添加软连接

/usr/local/mysql/support-files/mysql.server start

未出错则说明mysql安装成功

ln -s /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql
ln -s /usr/local/mysql/bin/mysql /usr/bin/mysql
service mysql restart

5.9 登录Mysql，修改密码并开放远程连接

mysql -u root -p

输入第7步生成的临时密码登陆

set password for root@localhost = password('yourpassword');

开放远程连接：

use mysql;
update user set host = '%' where user = 'root';
grant all privileges  on *.* to root@'%' identified by "密码";
flush privileges;

六、安装 cloudera-manager-server和cloudera-manager-agent

导入RPM-GPG-key-cloudera1.（如果没有这步操作，很可能cloudera服务安装失败）manager节点

rpm --import  RPM-GPG-KEY-cloudera

6.1 安装cloudera-manager-agent

cd /opt/cloudera-manager
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

如果直接安装不成功则使用--nodeps --force安装
–nodeps：安装时不检查依赖关系 --force：强制安装

cd /opt/cloudera-manager
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm  --nodeps --force

配置agent的server节点
修改 /etc/cloudera-scm-agent/config.ini 文件，将server_host=localhost 改成

server_host=主机名
cp /etc/cloudera-scm-agent/config.ini /etc/cloudera-scm-agent/config.ini.template
vi /etc/cloudera-scm-agent/config.ini
server_host=CDH01
Server_port=7182

保存退出执行命令

sudo JAVA_HOME=/usr/java/1.8.0_181-cloudera /opt/cloudera/cm-agent/bin/certmanager setup --configure-services

6.2 CDH01安装cloudera-manager-server

cd /opt/cloudera-manager
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

安装完server，主节点CDH01的cdh算安装完了
查看安装目录
/opt/cm /opt/agent
/etc/cloudera-scm-agent /etc/cloudera-scm-server

6.3 将 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha 移动到opt/cloudera/parcel-repo

安装完CM后/opt/ 下会出现cloudera目录

mv /opt/parcels/* /opt/cloudera/parcel-repo # 将parcel包移动到指定位置

在/opt/cloudera/parcel-repo执行以下命令：

sha1sum CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel | awk ‘{
    
     print $1 }’ > CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

6.4 主节点上配置Mysql数据库

cd /etc/cloudera-scm-server/
cp db.properties db.properties.template
vi /etc/cloudera-scm-server/db.properties

需要修改以下配置：

# 指定数据库类型为mysql
com.cloudera.cmf.db.type=mysql
# 指定数据库的地址以及端口号
com.cloudera.cmf.db.host=CDH01:3306
# 指定CM数据库的名称
com.cloudera.cmf.db.name=scm
# 指定CM用户的用户名
com.cloudera.cmf.db.user=scm
# 指定CM用户的密码
com.cloudera.cmf.db.password=scm
# 指定数据库使用为外部数据库
com.cloudera.cmf.db.setupType=EXTERNAL

将之前的注释掉，在文中添加

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=CDH01:3306
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm
com.cloudera.cmf.db.setupType=EXTERNA

6.5 建立CM数据库

初始化CM数据库操作

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm scm

6.6 主节点CDH01启动Server服务

service cloudera-scm-server start

进入server log目录，查看日志，日志生产则代表服务正常启动

cd /var/log/cloudera-scm-server/
ll

查看server状态

systemctl status cloudera-scm-server

查看server日志

tail -F /var/log/cloudera-scm-server/cloudera-scm-server.log

所有节点启动agent

systemctl start cloudera-scm-agent

查看agent状态

systemctl status cloudera-scm-agent

查看agent日志

tail -F /var/log/cloudera-scm-server/cloudera-scm-agent.log

七、 Cloudera Manager 初始化集群配置

参考资料：
https://zhuanlan.zhihu.com/p/77516550?from_voters_page=true
https://blog.csdn.net/qq262593421/article/details/105173259/
https://blog.csdn.net/weixin_39689084/article/details/109178382
https://www.jianshu.com/p/610cce9f9026

猜你喜欢

转载自blog.csdn.net/daining424/article/details/120330668
今日推荐
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
周排行
[编程题]学英语
[codeforces 1288A] Deadline 约数+模
Python的web开发
Docker在Centos 7上的部署
python编码
解决Ubuntu16.04 fatal error: json/json.h: No such file or directory
mysql并发插入
rest接口如何适应jsonp的方案
linux 终端上网设置
高数——等号两边同时求导、积分的解释
每日归档
更多
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022