数据分析的数据架构知识详解(四)

版权声明:系CDA数据分析师原创作品,转载需授权 https://blog.csdn.net/yoggieCDA/article/details/85259679


在前面的文章中我们给大家介绍到了传统大数据架构、流式架构、lambda架构,同时我们也给大家讲了讲这些结构的优缺点以及适用场景。除了这些架构,其实还有Kappa架构、Unifield架构。下面我们就给大家介绍一下这两个架构,希望这篇文章能够给大家带来帮助。

首先给大家说一说Kappa架构。Kappa架构在Lambda的基础上进行了优化,将实时和流部分进行了合并,将数据通道以消息队列进行替代。因此对于Kappa架构来说,依旧以流处理为主,但是数据却在数据湖层面进行了存储,当需要进行离线分析或者再次计算的时候,则将数据湖的数据再次经过消息队列重播一次则可。这个架构的有点就是Kappa架构解决了Lambda架构里面的冗余部分,以数据可重播的超凡脱俗的思想进行了设计,整个架构非常简洁。虽然Kappa架构看起来简洁,但是施难度相对较高,尤其是对于数据重播部分。适用场景:和Lambda类似,该架构是针对Lambda的优化。

然后给大家说说Unifield架构。我们在前面提到的所有架构都围绕海量数据处理为主,Unifield架构则更激进,将机器学习和数据处理揉为一体,从核心上来说,Unifield依旧以Lambda为主,不过对其进行了改造,在流处理层新增了机器学习层。可以看到数据在经过数据通道进入数据湖后,新增了模型训练部分,并且将其在流式层进行使用。同时流式层不单使用模型,也包含着对模型的持续训练。这个架构的优点就是Unifield架构提供了一套数据分析和机器学习结合的架构方案,非常好的解决了机器学习如何与数据平台进行结合的问题。缺点是Unifield架构实施复杂度更高,对于机器学习架构来说,从软件包到硬件部署都和数据分析平台有着非常大的差别,因此在实施过程中的难度系数更高。适用场景是有着大量数据需要分析,同时对机器学习方便又有着非常大的需求或者有规划的情况。

上面提到的所有架构都是比较经典的,大家在进行数据分析的时候一定要掌握好数据分析的架构知识,这样才能够做好数据分析的工作,这些架构的优缺点大家一定要把握好,这样才能够物尽其用,如果您喜欢我们的内容,那么快快关注我们的网站吧。

猜你喜欢

转载自blog.csdn.net/yoggieCDA/article/details/85259679