目录
一、文档编写目的
在CDH集群中spark1和Spark2版本可以共存，为了更好的体验及使用Spark新版本的API或修改已知旧版本的bug，现需要将CDH集群中安装Spark2.2，本节主要介绍如何通过Cloudera Manager离线安装Spark2.2。
操作流程概述：
- 升级准备
- 升级Spark版本及验证
- 总结
测试环境概述：
- CM和CDH版本为5.12.1
- Spark on Yarn部署
- 采用root用户操作
- CentOS6.9
前置条件：
- 集群JAVA版本已升级至1.8
二、升级准备
- 下载安装包
下载Spark2.2的parcel包及csd文件，下载地址：csd文件下载
注意：这里的csd文件有.cloudera1和.cloudera2之分，下载时需要注意下载的是哪个版本，若是.cloudera1，则parcel包需要下载2.2.0.cloudera1路径下的，而如果是.cloudera2，则parcel包需要下载2.2.0.cloudera2路径下的。
parcel包下载地址：spark2.2 parcels包
-
部署Spark2.2的parcel包
将下载的parcel包部署在http服务的/var/www/html/spark2.2目录下
- 测试parcel是否可远程访问
可成功访问 http://192.168.0.242/spark2.2/
-
部署csd文件
将下载好的csd文件拷贝至/opt/cloudera/csd目录下，并修改文件属主为cloudera-scm
# chown cloudera-scm. SPARK2_ON_YARN-2.2.0.cloudera2.jar
注意：如果csd目录下有其它Spark版本的csd文件需要移除。
- 完成以上部署后，重启cloudera-scm-server服务
# service cloudera-scm-server restart
- 使用管理员登录到Cloudera Manager的Web控制台根据提示重启Cloudera Management Service服务
三、升级Spark2.2 0
- 配置Spark2.2版本的parcel库地址
配置完后就可以看到spark2.2的版本了
- 点击下载、分配、激活Spark2.2版本
激活重启后，Parcel显示为已激活状态
- 安装的Spark2.2.0服务
- 配置Spark2的JAVA环境变量
保存配置，并重新部署客户端配置
至此已完成Spark2.2的安装
四、验证Spark版本
- 在命令行运行spark2-shell命令，验证Spark版本
- 运行一个Spark2的作业
spark2-submit --class org.apache.spark.examples.SparkPi \
--master yarn-client --num-executors 4 --driver-memory 2g \
--driver-cores 1 --executor-memory 2g --executor-cores 1 \
/opt/cloudera/parcels/SPARK2/lib/spark2/examples/jars/spark-examples_2.11-2.2.0.cloudera2.jar 5
五、常见问题
在命令行运行spark2-shell命令报如下异常：
解决方式：在Spark2的配置项“客户端高级配置代码片段”中增加JAVA的环境变量且必须为1.8版本。
六、总结
- 升级Spark2.2版本的前提是已将CDH集群的JAVA升级到1.8版本，第五部分《CM5.12.1将 jdk1.7升级到1.8》
- 升级Spark2.2时需要注意CSD文件是否与parcel版本一致，且在/opt/cloudera/csd目录下只能存在一个Spark的CSD文件。
- 在升级到Spark2.2后需要指定JAVA的环境变量，由于集群使用的是Spark ON Yarn模式，所以文章中只需要在“客户端高级配置代码片段”中增加JAVA的环境变量。