HDFS 数据冷热分层(实际测试)

1.目标

在测试环境,实际运行 HDFS 数据冷热分层。

2.操作

2.1 步骤 1、修改配置文件

## 修改 /usr/local/fqlhadoop/hadoop/conf/hdfs-site.xml,修改冷数据的机器设置:
<property>
<name>dfs.datanode.data.dir</name>
<value>[DISK]file:/data/hacluster/hadoop/datanode/</value>
</property>



## 修改热数据的机器设置:
<property>
<name>dfs.datanode.data.dir</name>
<value>[SSD]file:/data/hacluster/hadoop/datanode/</value>
</property>

2.2 步骤 2、对数据设置存储策略

对数据路径,设置冷热属性

hdfs storagepolicies -setStoragePolicy -path /user/aaronyu/split_storage_compute_20221005_1821 -policy All_SSD

2.3 步骤 3、执行命令

hdfs mover
在这里插入图片描述

3.冷热分层结果对比

3.1 执行冷热分层前

(1)在页面上查看:
在这里插入图片描述
(2)通过命令行查看:
在这里插入图片描述

3.2 执行冷热分层后

(1)在页面上查看:
在这里插入图片描述
(2)通过命令行查看:
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/wl101yjx/article/details/127175265