大数据平台组技术路线执行理念

大数据平台组技术路线执行理念

写在最前:自己是一个思维灵活人员,就是太灵活,视角很宽,看到了很多新东西就想要尝试并学习、引入,但深入不够,同时架构太大出问题机率直线升高,有明确的执行理念指导,是非常必要的,做任何决定前必须想到这个基本理念,切切。


0、精兵强将,稳扎稳打
解读:不可盲目扩张人员,人多了管理成本增加,水平参差不齐,代码质量无法掌控。慢一点没关系,做一步回头看两步,
稳步向前。

1、足够简单,完全可控
解读:尽量使用熟悉可控的软件,尽量少。出问题可以自主检查分析的。

2、稳定第一,运维优先
解读:没有成功先想着失败,一旦要保证备份,监控先行,集中精力打造思考运维平台,一出故障就会受到严重质疑。

3、深度研究,谨慎扩展
解读:对于使用的技术,一定要深研到底,不可浅尝辄止。对于引入新技术栈,要慎之再慎。

=======================================================
选型:
1、选择Java,放弃 Golang
理由:增加学习成本,重复造轮子,团队初创,需要研究的事情很多,不能分散精力。

2、选择mysql,放cockroachdb
理由:生产数据库,mysql可以应对,没有必要在这里进行替换,可以重用已有的经验和软件,比如长春市教育局的基础数据代码。

3、选择elasticsearch,暂缓greenplum
理由:目前我们只对elasticsearch有一些了解,还不精通,从理论上说elasticsearch也可以完成绝大多数olap职能,可以集中精力
进行深入研究,在发现elasticsearch无法满足的场景后,再调研其它备选方案。
关键词:深入研究,不行再说

4、spark或flink
理由:未来肯定会有流计算出现,目前的一期目标集中在elasticsearch,慢慢扩展。




猜你喜欢

转载自www.cnblogs.com/littlehb/p/12174655.html