关于大数据量或者存储过程或者业务逻辑过于复杂的解决方案

1.大数据量的清洗

存储过程和定时任务对大数据量的清洗,过程过于复杂涉及到的中间变量过多,计算和统计过多,导致整个过程执行时间过长。
所以通过数据准备,通过一个中间表来抽取过程中的中间变量和逻辑变量,预先抽取一些数据,减轻整个数据清洗过程的压力。
这些存储过程一定考虑到执行的效率问题,索引的使用;尽量避免在where条件里使用函数,有一些条件能抽取到中间表中,尽量抽取出来。
1.1)数据准备
1.2)中间表
1.3)任务分解表

2.执行过程的监控

在大型执行过程中,要有一个可视化的监控,能够监控执行的效率,执行的状态,执行的开始/结束时间,执行的结果…
日志表,在软件设计的过程都必须考虑的过程执行的日志。

3.事件模型

自动化的执行涉及到触发问题,一般都需要事件触发的起点,怎么触发事件的执行?
3.1)定时任务
3.2)job
3.3)前台手动触发执行

发布了66 篇原创文章 · 获赞 8 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/qq125281823/article/details/104334874
今日推荐