与前华为资深技术专家一起学习分布式技术 --专栏《分布式技术原理与算法解析》学习总结

“无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。点这里可以跳转到教程。”

不管是在互联网时代,还是移动互联网时代,抑或是现在的IoT(万物互联)时代,分布式技术都发挥着相当重要的作用。那么,分布式技术到底包含了哪些具体的技术点?它在当今的IT技术中到底扮演着一个怎样的角色?带着这诸多的疑问,我学习了极客时间App上的《分布式技术原理与算法解析》专栏。本专栏作者聂鹏程老师深入研究分布式技术十余年,曾是华为分布式Lab资深技术专家。

通过对专栏的学习,我对分布式技术有了比较全面的了解。在这篇文章中,我分享一下自己的学习总结,供大家在学习分布式技术时参考。

专栏主要内容

专栏一开始便对分布式下了一个定义,即:分布式其实就是将相同或相关的程序运行在多台计算机上,从而实现特定目标的一种计算方式。产生分布式的最主要驱动力量,是我们对于性能、可用性及可扩展性的不懈追求;也就是说,分布式的出现实际上是技术发展的必然结果。分布式的目的是用更多的机器,处理更多的数据和更复杂的任务

本专栏的主要内容分为六个部分,分别是:分布式协调与同步分布式资源管理与负载调度分布式计算技术分布式通信技术分布式数据存储分布式高可靠。我用下面这张思维导图来概括本专栏的主要内容。

四纵四横

在开篇词中,作者介绍了本专栏的学习路线,也就是“四纵四横”,包括4个技术层次4个纵向技术线。其中,4个技术层次是指:分布式资源池化分布式通信分布式数据存储与管理分布式计算;4个纵向技术线是指:分布式协同分布式调度分布式追踪与高可用分布式部署。专栏接下来的内容就是对“四纵四横”内容的展开介绍和深入讲解。

CAP理论

CAP理论是分布式技术中一个经典的理论,作者也在专栏中对该理论进行了详细的介绍。

CAP中的C代表Consistency,即一致性;A代表Availability,即可用性;P代表Partition Tolerance,即分区容错性。CAP理论说的是在一个分布式系统中,CAP三者最多只能同时满足两个,不能三者都同时满足。当前我们熟悉的一些开源系统,都是基于CAP理论设计的,作者在专栏中做了梳理,如下表所示: 

分布式技术与人工智能的关系

作者专门用了一讲的内容来介绍分布式技术与人工智能的关系,也就是,当前炙手可热的人工智能技术实际上与分布式技术有着千丝万缕的联系。作者提到,数据、模型(也叫作算法)和算力是人工智能的三大核心数据处理和模型训练是人工智能的关键技术,算力决定了数据处理和模型训练的实用性能,而分布式技术就是解决算力的不二妙招

更具体地,分布式模型训练是利用分布式集群,将多个计算机的存储能力、计算能力等进行统一管理和调度,从而实现模型训练。在此过程中,分布式各项技术都发挥着非常重要的作用。另外,数据分布式训练涉及到数据的拆分方法、数据的分布式存储和管理,分布式技术在其中也是功不可没。

总结

作者用理论和实践相结合的方式介绍了分布式技术的方方面面的内容,适合IT从业者(特别是技术工作者)们阅读。在专栏的最后,作者提到了如何提升职业竞争力,他认为我们首先要敬畏技术并对自己诚实,然后把自己塑造成一个倒三角人才( T 型人才)。也就是说,我们要正视自己的短板,并努力提高自己的技能,让自己成为一个对某些技术有深入理解、对相关领域有全面了解的人。

只有通过重复地学习及实践,才能够真正吃透专栏的内容,我已经在学习的路上了。如果大家对专栏的内容感兴趣,可以订阅学习,也可以阅读我绘制的思维导图。下载链接如下,希望对大家学习分布式技术有所帮助。

链接:https://pan.baidu.com/s/1NBSNiQdFhmf-8JHN3X9D0Q  

密码:4iw3

发布了510 篇原创文章 · 获赞 3058 · 访问量 191万+

猜你喜欢

转载自blog.csdn.net/zhouzxi/article/details/105452636