一些好的思想(解决问题的方法)

1,当时做fzyc时,需要计算一些周边区域的指标,最初的通过for循环来找到该区域的周边区域进行计算,但是在spark中使用for循环效率很低,而且总是感觉很别扭,这时,我们小组长提出了一个想法,直接通过spark计算,该区域发生一次事件,就在它周边所有区域上加一个数值,最后在进行合并,这样就避免使用for循环;
2,大数量的比对,提供一种思想,写入临时表,然后通过联合查询sql在数据库中完成;
3,quartz分布式部署问题,当项目通过Nginx负载均衡分布式部署时,根据状态读取数据时,要注意数据重复性问题,这里提出一种方案,就是将库里面的数据进行类似分片的操作,每个节点/服务器只读取指定的数据;

猜你喜欢

转载自blog.csdn.net/wz_ling1991/article/details/83717388
今日推荐