中国银行数据平台2.0改造升级
项目的进度已经接近尾声，回想起项目刚开始的那份期待已经落实，人生中的风景有很多走过一处就要为自己留念，今天就为这个项目留念一下
项目背景
中国银行北京分行的数据是依托中国银行总行的，总行每天会下传数据到FTP服务器，这个FTP服务器的数据是给分行使用，解决分行下游的一些系统数据的供应 ，该项目的前身 中国银行数据平台1.0 主要做的是获取总行下传的数据文件，并且分类的处理这些文件，例如把文件存放在本地等待分行下游的系统进行读取 或 通过ETL 处理文件里面的数据，通过ETL进行数据加工最后存储入库。随着时间的流失，下游的系统增多，需要的数据增也就随之增多，原有的ETL有以下不足，
处理的数据速度已经不能满足分行下游某些系统数据的供应，并且原有的ETL 是通过系统分类，串行跑批数据的，也就是说 该系统下的某个文件出了错误则该系统下的整体文件数都需要重新跑批，下穿的文件丢包机率很大，
项目目标
分担原有系统的压力 搭建一个新系统 把总行的文件下传到本地，以文件为单元，确保每一个文件都能安全且不丢包的完成下传，并且要高可用，多并发多线程，充份的利用CPU的资源。以下为测试系统配置
项目需求设计
两个线程池 线程池A 线程池B
A池B池最大线程数30 并发数5 每个主线程启动休眠时间为30秒
A线程池 主要做的任务是跑批当天的数据，
B线程池做的任务是A线程池当天遇到问题切没有顺利跑完所有文件，或总行下传到FTP的数据没有按时到达，或因其他的原因异常，网络原因， 导致A线程池当天没有正确的获取到文件，则后续都由B线程池来完成跑批
A线程池与B线程池跑批顺序为 A线程池把当天的数据跑一圈之后 B线程池开始跑批，今天有点事 后续更新..........