错误解决no more usable space [ /tmp/hadoop-yarn/nm-local-dir : used space above threshold of 90.0%

no more usable space [ /tmp/hadoop-yarn/nm-local-dir : used space above threshold of 90.0%

"no more usable space [ /tmp/hadoop-yarn/nm-local-dir : used space above threshold of 90.0%]"的错误通常表示存储于/tmp/hadoop-yarn/nm-local-dir目录下的可用空间已超过了90%的阈值限制。

这个错误一般是因为计算节点(NodeManager)的本地磁盘空间不足导致的。Hadoop YARN的计算节点使用本地磁盘来存储临时文件和任务数据,当磁盘空间使用超过了设定的阈值时,会触发该错误。

要解决这个问题,可以考虑以下几点:

清理临时文件:清理计算节点上/tmp/hadoop-yarn/nm-local-dir目录下的临时文件,在任务完成后及时清理不再需要的文件,释放磁盘空间。

调整阈值设置:根据你的需求和磁盘容量情况,可以调整阈值设置,将其增加到较高的百分比,以便更多的磁盘空间可以被使用。

增加磁盘空间:如果你的计算节点的磁盘空间经常不足,可以考虑增加计算节点的磁盘容量,以提供更多的可用空间。

配置其他本地目录:除了/tmp/hadoop-yarn/nm-local-dir目录外,你还可以配置其他的本地目录作为计算节点的存储目录,以分散存储负载并增加可用空间。

操作:

  1. 先把 /tmp/hadoop-yarn/nm-local-dir 这个目录下 usercache 目录删掉(或者这个目录下其他文件夹也可以按需删除)
  2. 先新增一个 yarn-site 扩展项 yarn.nodemanager.local-dirs ,在默认值 ${hadoop.tmp.dir}/nm-local-dir 的基础上加上 /data/tmp/xxx 盘上的一些其他目录(逗号分割)
  3. 重启 YARN NodeManager

猜你喜欢

转载自blog.csdn.net/qq_43688472/article/details/131903283