CDH5.15升级最新版spark2.3

之前安装CDH5.15后,spark版本是1.6,太低了,这里说一下安装最新版spark2.3,因为1.6和2.3是可以共存的,所以也不能算是升级了,不啰嗦,上干货。

  1. 下载安装包

到CDH官网下载对应的spark的parcel包到CDH官网下载对应的spark的parcel包
http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera4/

在这里插入图片描述

注意:我的是CentOS7,所以下载el7的包,如果是CentOS6,就要下el6的包,下载对应自己系统版本的包。

下载csd包
http://archive.cloudera.com/spark2/csd/
在这里插入图片描述

注意:以上csd版本要与parcel的版本保持一致,并与安装的CDH一致!!!

安装包准备如下:
在这里插入图片描述

  1. 安装

2.1 把下载下来的csd包(SPARK2_ON_YARN-2.3.0.cloudera3.jar)放在主节点的/opt/cloudera/csd目录下,如果本目录下有其他的jar包,把删掉或者移到其他目录

修改SPARK2_ON_YARN-2.3.0.cloudera3.jar所属用户组以及所属用户

cd /opt/cloudera/csd
chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera3.jar

在这里插入图片描述

2.2 上传parcel包到/opt/cloudera/parcel-repo目录下,并且将parcel.sha1修改成parcel.sha

注意: 如果有其他的安装包,不用删除 ,但是如果本目录下有其他的重名文件比如manifest.json文件,把它重命名备份掉。然后把那3个parcel包的文件放在这里。

在这里插入图片描述

# 重启服务
service cloudera-scm-server stop
service cloudera-scm-agent stop
service cloudera-scm-server start
service cloudera-scm-agent start
  1. 分配并激活parcel
    在这里插入图片描述

分配:
在这里插入图片描述

激活:
在这里插入图片描述
在这里插入图片描述
激活后,在主页面添加服务,然后就可以添加spark2服务了。
在这里插入图片描述
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_36939535/article/details/84566682