统计小于20M的hdfs文件明细

统计HDFS文件数量大小，小于20M文件数量

• hadoop fs -du -h / # 统计文件大小
• hadoop fs -count / # 统计文件数量，返回的数据是目录个数，文件个数，文件总计大小，输入路径

• hadoop fs -ls -R /path/data | grep ^- > ~/data.txt #统计所有文件的信息，过滤文件夹,只统计文件.因为使用ls -l 之后,可以看到文件是”-“开头文件夹是”d”开头

再写个小python

 import pandas as pd
path='/Desktop/data.txt'
df=pd.read_table(path,delim_whitespace=True,names=[1,2,3,4,5,6,7,8]) # 统计数据一共8列
print(len(df))
df1=df[df[5]<20971520] # 第五列是大小,取小于20M(换算成b)的文件数据
print(len(df1)) # 统计数量