hadoop 副本放置策略

关于大数据学习的最好的网站就是官网http://www.apache.org/  

参考资料:http://www.apache.org/ 

免责声明:很多资料都是网上一步步搜集到的,感谢各位前辈默默无闻的奉献与付出,资料过多,不一一感谢,如果侵权,请及时联系作者本人或者投诉至平台,我会第一时间删除,纯分享。

1 上传节点为本集群的datanode节点时,根据副本放置策略,读取配置文件的副本数,(一般配置为3)

第一个副本 首先优先放置在本节点

第二个副本 放置于不同于第一个放置的节点的机架上,

第三个副本 放置在第二个副本的同一个机架的不同机器上

1.2放置的选择原则都市选取节点相对于资源比较充足的(CPU使用率低,放置的节点数少,以及磁盘IO/带宽等综合因素)
 

2 当上传的节点为非本集群的任意一个datanode 节点,则参考1.2 进行放置

猜你喜欢

转载自blog.csdn.net/weixin_38638777/article/details/103412076