Hadoop:no space left on device
问题描述
今天突然发现hive使用不了,试着重启Hadoop集群,首先是现实no datanode to stop,
按照我上一篇博文方法解决后.再次启动Hadoop。显示no space left on device,字面上就是空间不足的意思。心想我也未曾上传大文件到服务器啊。查阅相关资料,总结如下。
原因
首先,查看服务器磁盘占用情况
df -h
发现我的安装夫目录/usr的占用是100%,接着进入到/usr目录,查看目录下的占用情况
du -sh *
发现local占用64G,进入目录再次查找,最终发现
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QroG6muD-1574148530742)(/Users/pengzijun/Library/Application Support/typora-user-images/image-20191119150839992.png)]
zookeeper安装目录logs文件夹中竟然达到58G。
原因是在安装时没有配置自动清除日志导致日志占用过大。
解决
-
找到安装目录下:conf/zoo.cfg
-
添加
autopurge.purgeInterval=5#每五小时清理 autopurge.snapRetainCount=20#保留20个快照
-
重启zookeeper,如果集群安装有hbase则停止顺序为hbase->zookeeper->Hadoop,启动顺序相反
-
解决