datanode报错:java.io.IOException:Premature EOF from inputStream

HDSF datanode报错如下:

 

原因:文件操作超租期,实际上就是data stream操作过程中文件被删除了,通常是因为Mapred多个task操作同一个文件,一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限,总默认值是4096,该参数取值范围[1to8192]

 

更改操作:

修改每个datanode节点的hadoop配置文件hdfs-site.xml:

增加dfs.datanode.max.transfer.threads属性的设置,设置为8192

猜你喜欢

转载自blog.csdn.net/ClearloveXXX/article/details/84335862
EOF
今日推荐