安装cdh时启动spark一个坑

1、cdh在spark的conf中没有slaves文件
解决方法:在spark的conf目录下添加slaves文件,内容为worker节点名
2、yarn的端口和spark的worker端口冲突都是7337,导致worker进程不能正常工作
解决办法:在spark的conf目录下修改spark-default.conf文件,把里面的7337端口
改成其他的端口

猜你喜欢

转载自blog.51cto.com/quliren/2324417
今日推荐