CDH5.9 离线安装或者升级spark2.x详细步骤

官方安装说明地址:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

Step1

安装spark需要两个文件,一个是csd文件,一个是parcel文件。


我安装的是2.1 Release2版本,后面两列分别是这个两个文件的地址。

进入parcel的链接地址,如下图:


我的系统是centos6,所以下载el6对应的两个文件,如果是centos7,就下载el7对应的文件即可。

把划红线的三个文件都下载下来。

Step2

选择需要安装的spark版本之前,需要安装spark需要的一些软件和软件版本的要求。具体地址:

扫描二维码关注公众号,回复: 1491324 查看本文章

https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html

Step3

登录到Cloudera Manager的主机,把下载的文件分别放到对应的文件夹。

csd文件放到csd文件夹,其他的文件放到parcel-repo文件夹。

默认是/opt/cloudera/csd和/opt/cloudera/parcel-repo

Step4

修改文件的权限,分别把owner和group修改成cloudera-scm,读写权限改成644

Step5

service cloudera-scm-server restart

用上面的命令重启。

Step6

登录到Cloudera Manager的管理平台,进入parcel界面,这时候就可以看到你要安装的spark了。

开始分配主机,直到激活。

Step7

添加Spark服务到集群。

猜你喜欢

转载自blog.csdn.net/worldchinalee/article/details/80540236