大规模文件删除的策略

关于过期文件删除处理：

a)写文件的时候记录相关的日志，日志文件格式为：文件ID（这个时间上是分布式文件的ID）;时间戳

b)使用日志文件删除策略如下：

1、读取一条记录，根据当前的ID读取fastDts中的文件，判断时间戳，如果满足有效期，删除；要不的话不变

2、如果日志不集中，每个服务器上都按照这个策略来处理也没有问题

c)可以采用日志集中框架：Facebook Scribe ; flume

如果文件不是特别多的情况下，将：文件ID（这个时间上是分布式文件的ID）;时间戳保存在数据库中，然后从数据库中读取然后进行删除也没有任何问题。