Hadoop集群动态添加datanode节点步骤

hadoop2.5.2

总结一下在Hadoop集群动态添加datanode节点相关步骤。

1.     在新节点安装好hadoop，并把namenode的有关配置文件复制到该节点

2.     修改namenode节点的masters和slaves文件，增加该节点

3.     设置各节点ssh免密码进出该节点，设置IP映射

4.     单独启动该节点上的Datanode和Nodemanager

    hadoop-daemon.sh start datanode

    yarn-daemon.sh start nodemanager

5.     运行start-balancer.sh进行数据负载均衡，作用：当节点出现故障，或新增加节点时，数据块分布可能不均匀，负载均衡可以重新平衡各个datanode上数据块的分布