关于Hadoop(Spark、HBase)集群关闭不了的问题

有时候,我们对运行几天或者几个月的hadoop或者spark集群做停止操作,会发现,停止命令不管用了,为什么呢?
因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录下,进程名命令规则一般是 框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,定期会删除一次,所以把pid文件放在这里面,并不是长久之计,为了安全起见,我们还是放到一个固定的目录下最好,当然不能放在/tmp下。

为避免把进程文件写到临时目录下面,我们需要修改配置文件?

以Hadoop配置为例:

(1)修改hadoop-env.sh

修改如下,如果没有下面的设置,可以直接添加:

export HADOOP_PID_DIR=/ROOT/server/pids_hadoop
export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop 

上述配置,影响 NameNode 、DataNode 、SecondaryNameNode 的进程pid存储 。

(2)修改mapred-env.sh

修改如下:

export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop

上述配置,影响 JobHistoryServer 的进程pid存储。

(3)修改yarn-env.sh

修改或者添加(不存在此项配置时),这里面我没有找到pid的环境设置变量,所以就直接添加了

export YARN_PID_DIR=/ROOT/server/pids_hadoop

上述配置,影响 NodeManager、 ResourceManager、的进程pid存储 。

Spark、HBase出现此情况解决方法类似。

发布了68 篇原创文章 · 获赞 4 · 访问量 7396

猜你喜欢

转载自blog.csdn.net/weixin_44455388/article/details/102893929
今日推荐