创建Federation环境

1、在app-11上，切换到hadoop用户下。
命令：su – hadoop

在这里插入图片描述
2、切到hadoop的安装目录下。
命令：cd /hadoop/Hadoop/

3、进入hadoop3.1的配置目录下。
命令：cd hadoop-3.1.2/etc/hadoop/

4、删除hdfs-site.xml文件。
命令：rm -rf hdfs-site.xml

5、进入/tmp/Spark-stack目录下。
命令：cd /tmp/Spark-stack/
在这里插入图片描述
6、将hdfs-site.xml拷贝到/hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/目录下。
命令：cp hdfs-site.xml /hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/
注：这里的hdfs-site.xml我们增加了dm2，因为在app-11和app-12上做了ha，dm2只能放在app-13上。

7、将该文件继续拷贝到集群的另外两个机器上。
命令：scp hdfs-site.xml hadoop@app-12:/hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/、scp hdfs-site.xml hadoop@app-13:/hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/
在这里插入图片描述
8、登录到app-13上。
命令：ssh hadoop@app-13

9、切换到配置文件所在的目录下。
命令：cd /hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/

对namenode各式化。

10、先打开hdfs-site.xml文件。
命令：vi hdfs-site.xml
在这里插入图片描述

11、添加注释。将dm2的cluster的namenode限制在app-13上，而不采用ha
在这里插入图片描述

12、初始化各式。
命令：hdfs namenode -format -clusterId dm2注：会打印很多classpath
在这里插入图片描述
13、启动namenode.
命令：hdfs --daemon start namenode注：只是启动本地的namenode。

14、查看是否开启。
命令：jps

15、将app-13上的datanode和其他机器上的namenode建立联系。
命令：hdfs dfsadmin -refreshNamenodes app-11:9867、hdfs dfsadmin -refreshNamenodes app-12:9867、hdfs dfsadmin -refreshNamenodes app-13:9867
在这里插入图片描述
16、退出app-13。
命令：exit

17、查看dfs下有什么。
命令：hdfs dfs -ls /注：这里的输出是dmcluster的。因为在core-site配置文件里defaultFS是dmcluster。

18、如果想要获得dm2的输出需要加一个前缀。
命令：hdfs dfs -ls hdfs://dm2/注：这里是空的。
在这里插入图片描述
19、创建一个文件夹federation.
命令：hdfs dfs -mkdir hdfs://dm2/federation

20、再次查看目录。
命令：hdfs dfs -ls hdfs://dm2/

21、也可以使用dmcluster前缀查看文件目录。
命令：hdfs dfs -ls hdfs://dmcluster/注：这里的文件名前会有目录。
在这里插入图片描述
我们需要如何有效的管理这些文件，将这些文件系统挂载到虚拟的文件系统。映射到viewfs系统下。

ViewFS操作

1、进入到hadoop的配置文件下。
命令：cd /hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/
在这里插入图片描述
2、删除core-site.xml文件。
命令：rm -rf core-site.xml

3、切换到/tmp/Spark—stack目录下。
命令：cd /tmp/Spark-stack/

4、将core-site.xml拷贝到hadoop配置文件下。
命令：cp core-site.xml /hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/
在这里插入图片描述
5、将文件拷贝到集群的另外两个机器上。
命令：scp core-site.xml hadoop@app-12:/hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/、
scp core-site.xml hadoop@app-12:/hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/

6、不需要重新启动集群，view就可以生效。
命令：hdfs dfs -ls /
注：此时所访问的是view的根目录。hadoop和user是dmcluster里的目录，federation是dm2里的目录。这样我就有效的管理了我们集群。
在这里插入图片描述
因为后续的操作不需要做federation和view，所以我们更改回去。

还原配置文件

1、先删除core-site.xml、hdfs-site.xml
命令：rm -rf core-site.xml hdfs-site.xml
在这里插入图片描述
2、切换到/tmp/Spark-stack/initialization目录下。
命令：cd /tmp/Spark-stack/initialization/