1.使用hdfs命令获取Fslmage数据文件 – hdfs dfsadmin -fetchimage /tmp meta
2.使用hdfs oiv命令解析Fsimage文件 – hdfs oiv-i./tmp meta/
fsimage0000000000008236656 -0./tmp meta/fsimage.csv-pDelimited
3.将解析的csv文件加载到Hive的HDFS META TEMP表中
4.使用Sqoop脚本将Hive元数据中关于Hive库和表的信息抽取的Hive中
5.执行base.sqi文件创建分析的lmpala表
6.执行analyse_sq/all_hdfs.sql语句通过各个维度查找小文件
hadoop查看小文件的方式
猜你喜欢
转载自blog.csdn.net/weixin_43015677/article/details/129539678
今日推荐
周排行