Hadoop 完整分布式

完全分布式和伪分布式类似,区别在于伪分布式只有一个节点,然而完全分布式可以有多个节点,各节点的配置相同.完全分布式的部署如下

更改数据持久物理层目录
高可用namenode
分散datanode
格式化namenode
启动集群
验证进程

(一) 配置core-site.xml,更改数据持久层目录,默认目录在tmp临时目录下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://server10:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/cluster/hadoop</value>
    </property>
</configuration>

(二) 配置hdfs-site.xml, 分离secondarynamenode进程到其他节点,高可用namenode

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>dfs.replaction</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>server14:9869</value>
    </property>
</configuration>

(三) 配置workers,添加节点hosts映射ip地址映射主机,分散datanode

server11
server12
server13

(四) 格式化namenode

扫描二维码关注公众号，回复： 5690196 查看本文章

#> hdfs dfs -format

(五) 启动集群

#> start-dfs.sh && start-yarn.sh

(六) 验证启动进程

#> jps

----------- localhost ------------
45031 ResourceManager
46343 Jps
44572 NameNode
----------- server11 ------------
10626 Jps
10442 NodeManager
10301 DataNode
----------- server12 ------------
6028 NodeManager
5887 DataNode
6207 Jps
----------- server13 ------------
5553 DataNode
5876 Jps
5694 NodeManager
----------- server14 ------------
8723 Jps
8521 SecondaryNameNode

猜你喜欢