大数据平台基础架构指南 读书收获

本书是蘑菇街 数据平台资深架构师结合其自身的大数据平台建设经验所总结出来的一本书。
其中的 第1、2、10章主要讲诉了大数据平台建设方法论类的知识,平台建设应该以服务为本,以提高业务开发效率为目的,要有产品思维,要在建设的过程中发挥出价值来。
第3-9章分别讲诉了作者在 调度系统、数据集成开发平台、数据采集系统、数据可视化系统、权限管理系统、数据质量管理及数据迁移几个方面的实战经验。

自己的阅读收获有:
1.要抓住主要矛盾,集中攻关,为业务带来价值 80/20法则的运用。
书中示例-> 做可视化部分的时候不关注炫酷的页面效果和界面展示的细节,花时间在常用的统计组件的优化上。
2.要提高解决问题的方法论
书中示例-> 程序奔溃时,需要通过多种方式的收集问题自身的信息例如:
A.质疑问题,考证现象,现有的结论是否站得住脚,是否还有疑点
B.能否再多方面收集一些信息, 或者换一个角度, 尝试用 别的方式分析问题。
C.能否想办法复现问题,或者学习新的技能解锁进一步分析问题的能力 。
D.能否改进日志,争取下一次问题出现时能收集到更多信息 。
E.在自以为修复问题后,能否针对性地进行后续的监控分析,看看是否真的解决了问题 。
3.技术选型和方案设计时要多参考业内已经成熟的各种开源软件和方案,结合自身的业务特点来做选择,在开源系统能够满足业务场景的情况下就使用开源的,能二次开发解决问题的二次开发一下,实在不行要综合各种开源方案的优点自己再造个轮子。
书中各个系统案例讲解的时候都有先介绍该领域已有的开源及各大公司的实践情况,再引出各自的对现有业务的不足及作者的改进方案。
技术选型的套路跟大学时写论文的套路类似,先列出古往今来在该问题领域已有的解决方案,然后逐一的进行比较,列出优劣,再提出自己的改进方案,之后就是进行试验和结果分析及总结。
4.各个系统的实践对自己未来的工作有指导性的作用,自己可以对其中的一些数据平台的建设方法进行实践,优化开发流程,提高开发效率,为业务侧带来价值。

本书其实是作者博文的一个汇总,文章大多数在其博客及公众号上可见。
本书作者的csdn博客地址 https://blog.csdn.net/colorant
平时工作和学习多总结还是有必要的,做得好的话可以著书立作呢。
在这里插入图片描述

发布了7 篇原创文章 · 获赞 5 · 访问量 1549

猜你喜欢

转载自blog.csdn.net/Young2018/article/details/103749365