Hadoop:no space left on device

Hadoop:no space left on device

问题描述

今天突然发现hive使用不了,试着重启Hadoop集群,首先是现实no datanode to stop,

按照我上一篇博文方法解决后.再次启动Hadoop。显示no space left on device,字面上就是空间不足的意思。心想我也未曾上传大文件到服务器啊。查阅相关资料,总结如下。

原因

首先,查看服务器磁盘占用情况

df -h

在这里插入图片描述
发现我的安装夫目录/usr的占用是100%,接着进入到/usr目录,查看目录下的占用情况

du -sh *

在这里插入图片描述

发现local占用64G,进入目录再次查找,最终发现

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QroG6muD-1574148530742)(/Users/pengzijun/Library/Application Support/typora-user-images/image-20191119150839992.png)]

zookeeper安装目录logs文件夹中竟然达到58G。

原因是在安装时没有配置自动清除日志导致日志占用过大。

解决

  1. 找到安装目录下:conf/zoo.cfg

  2. 添加

    autopurge.purgeInterval=5#每五小时清理
    autopurge.snapRetainCount=20#保留20个快照
    
  3. 重启zookeeper,如果集群安装有hbase则停止顺序为hbase->zookeeper->Hadoop,启动顺序相反

  4. 解决

发布了19 篇原创文章 · 获赞 7 · 访问量 9916

猜你喜欢

转载自blog.csdn.net/weixin_42297075/article/details/103143579