Log4j产生的日志文件上传到hdfs集群上

需求：将log4j产生的日志文件上传到hdfs集群上，清理超过24小时的文件，保留24小时以内的文件

1.产生日志

public class MoreLog {
    public static void main(String[] args) throws Exception {
        Logger logger = LogManager.getLogger(MoreLog.class);
        System.out.println("开始打印日志了----");
        while(true){
            logger.info("----------------------------------------------------");
            Thread.sleep(1);//每隔一毫秒让进程休眠，使日志产生不至于太快影响上传
        }   
    }
}

2.收集产生的日志文件并上传到hdfs集群上

public class ClollactionTask extends TimerTask {

    @Override
    public void run() {
        try {
            //为了生成备份目录文件夹名(使用上传时间命名文件夹，以便查看和清理过期日志)，生成当前时间
            SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd-HH-mm");
            String datetime = format.format(new Date());

            // 1:查看哪些文件是需要上传的
            File logDir = new File("d:/testlog/");
            File[] listFiles = logDir.listFiles(new FilenameFilter() {
                // FileNameFilter 判断哪些文件是能够获取的，过滤，test.log.1、test.log.2是需要上传的文件
                @Override
                public boolean accept(File dir, String name) {
                    return name.startsWith("test.log.");
                }
            });

            // 2:将文件移动到待上传目录
            for (File file : listFiles) {
                FileUtils.moveFileToDirectory(file, new File("d:/waitUpLoad"), true);
            }
            //3:将待上传的文件逐个上传到hdfs上，并移动到备份目录（备份目录位于Windows上）
            FileSystem fs = FileSystem.get(new URI("hdfs://hadoop01:9000"), new Configuration(), "root");
            //new一个hdfs上要上传到的目录
            Path detPath = new Path("/log/"+datetime.substring(0, 10));
            //判断要上传到的的目录是否存在，不存在则创建一个（hdfs上的文件夹）
            boolean exists = fs.exists(detPath);
            if(!exists){
                fs.mkdirs(detPath);
            }

            //判断备份目录是否存在
            File backDir = new File("d:/backDir/"+datetime);
            boolean exists2 = backDir.exists();
            if(!exists2){
                backDir.mkdirs();
            }

            //得到上传的是哪一个服务上的日志文件
            String hostName = InetAddress.getLocalHost().getHostName();

            //4:遍历待上传的目录
            File file = new File("d:/waitUpLoad");
            File[] listFile = file.listFiles();
            for (File f : listFile) {
                //上传到hdfs上
                fs.copyFromLocalFile(new Path(f.getPath()), new Path(detPath,hostName+"_"+f.getName()+"_"+System.currentTimeMillis()));

                //从待上传目录复制到备份目录
                FileUtils.moveFileToDirectory(f, backDir, true);
            }
            fs.close();

        } catch (Exception e) {
            e.getStackTrace();
        }
    }
}

3.清理超过24小时的文件

public class CleanTask extends TimerTask {

    @Override
    public void run() {
        try {
            SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd-HH-mm");
            Date nowdate = new Date();//获取当前时间
             File file = new File("D:/backDir");
             File[] listFiles = file.listFiles();
             for (File dir : listFiles) {//遍历备份目录文件
                String name = dir.getName();
                Date dirdate = format.parse(name);//获取文件夹名，转为时间格式
                //比较当前时间和文件上传时间，大于24小时则执行删除操作
                if(nowdate.getTime() - dirdate.getTime() > 24*60*60*1000) {
                    FileUtils.deleteDirectory(dir);
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

4.启动日志采集、上传以及清理过期文件

public class StartUp {
    public static void main(String[] args) {
        //定时器
        Timer timer = new Timer();
        //上传，每隔2分钟采集日志并上传一次
        timer.schedule(new ClollactionTask(), 0, 2*60*1000);
        //清理，每隔2个小时清理一次过期文件
        timer.schedule(new CleanTask(),0, 2*60*60*1000);
    }
}